Skip to Content

Wiki source code of Postup převodu dat z Clavia

Last modified by Jan Šimeček on 2025/11/03 15:11
Show last authors
1
2
3 = Záloha dat Clavia pro převod do Tritia =
4
5 Postup pro malé knihovny k poslání je zde: [[Záloha dat Clavia pro převod do Tritia>>doc:.Zaloha-dat-Clavia-pro-prevod-do-Tritia.WebHome]]
6
7 = Převod =
8
9 == Tipy a Triky ==
10
11 {{html}}
12 <button onclick="toggleContent('content1')">Tipy a Triky - přečíst</button>
13 <div id="content1" style="display: none;">
14 <hr style="border: none; height: 5px; background-color: black;">
15 <p>Revize se nepřevádí, musí být před zahájením převodu do Tritia uzavřena.</p>
16 <p>Dispečink Clavia se nepřevádí, pokud data potřebují, tak si je musí před vypnutím Clavia opsat.</p>
17 <p>Statistiky LWWW se nepřevádí, knihovna si je musí opsat.</p>
18 <p>Neměnit klíč v definici poplatků po testovacím převodu, nepovede se pak napojení poplatků při dalším importu - měnit až po posledním importu knihovny.</p>
19 <p>Neměnit zkratky v odděleních, nebude fungovat vazba výchozího oddělení čtenáře - měnit až po ostrém startu.</p>
20 <hr style="border: none; height: 5px; background-color: black;">
21 </div>
22 <script>
23 function toggleContent(contentId) {
24 var content = document.getElementById(contentId);
25 if (content.style.display === "none") {
26 content.style.display = "block";
27 } else {
28 content.style.display = "none";
29 }
30 }
31 </script>
32 {{/html}}
33
34 == Příprava převodu ==
35
36 * Zeptat se knihovny před převodem: [[Dotazy na knihovnu před převodem>>doc:.Dotazy-na-knihovnu-pred-prevodem.WebHome]]
37 * Zálohu rozbalovat přes **{{html}}<span style="color: red;">Total Commander </span>{{/html}}**- ne přes Windows průzkumníka!!!
38
39 1. **{{html}}<span style="color: green;">Aktualizovat Clavius</span>{{/html}}** na současnou verzi (
40 11. Pomůcky → Update přes internet
41 11. Pomůcky → Ladící funkce → Oprava struktury dat
42 11. Systém → Obnova indexů)
43 1. **{{html}}<span style="color: green;">Provést synchronizaci polí</span>{{/html}}** (Pomůcky → Editace polí → Sync → Aktualizovat)
44 1. **{{html}}<span style="color: red;">U SK knihovny zkontrolovat, že jsou data převedena na eura!</span>{{/html}}[[Návod pro Clavius>>https://www.clavius.sk/euro.htm]]**
45 1. **{{html}}<span style="color: green;">Provést kontrolu integrit dat </span>{{/html}}**(chyby opravovat !!! hlavně dogenerovat autority a smazat chybná pole)
46 1*. Katalogizace:
47 1**. **do integrit with .t.,.t. **( lze využít i příkazu **do tritius** , dělá to samé )
48 1***. vyzve ke sloučení slovníků C1 a C3 do C1 - dát ano
49 1***. [[kódy jazyk>>https://ipk.nkp.cz/docs/kp/marc-21/kody-jazyku-marc-21-pdf.-537-kb]] [[kódy zemí>>https://ipk.nkp.cz/docs/kp/marc-21/kody-zemi-marc-21-pdf.-157-kb]]
50 1**. **do OKindik with .T.**
51 1*. Výpůjčák
52 1**. Clex.exe → Systém → Provést Kontrolu integrity dat)
53 1. **{{html}}<span style="color: green;">pohled([select !s.scislo, s.pcislo, s.ucislo, #s.ckod from svazky s, (select ckod from svazky group by ckod having count(*)>1) s1 where s.ckod<>'' and s.ckod=s1.ckod order by s.ckod])</span>{{/html}}**
54 1*. duplicity čárových kódů svazků řešit ve foxíku tak že za čárový kód přídáte písmeno a,b,c ...  kromě prvního výskytu čárového kódu
55 1. **{{html}}select isxn, count(*) as pocet from tituly group by isxn order by pocet desc{{/html}}**
56 1*. kontrola na duplicitu ISBN -> opravit hromadně v TAGu
57
58 == Vlastní export dat z Clavia - automaticky (verze Clavia od 28.2.2019) ==
59
60 * **{{html}}<span style="color: red;">Pokud se jedná o reksové centrum, musí export probíhat pod uživatelem Správce Reksu!!</span>{{/html}}** ( Systém - Servis dat - Výběr jiné knihovny - zaškrtnout Správce REKSu - OK )
61 * Při importu REKS knihovny = přečíst oddíl 2.5 ( možná úprava svazků v Claviu )
62 * ve foxíku spustit:
63 * **do FULLEXPORT**
64 ** -vyzve ke kontrole OKAcisla - dát ano a lze jít spát, bude následně automaticky pokračovat export tagů
65 * TAG soubory se automaticky vygenerují do složky TXT ve složce Clavius
66
67 == Příprava CLAVIUS SQL ==
68
69 {{html}}
70 <button onclick="toggleContent('content4')">O programu NASQL</button>
71 <div id="content4" style="display: none;">
72 <hr style="border: none; height: 5px; background-color: black;">
73 <p>Pro převod dat akvizice, výpůjčního protokolu a další částí se používá přímý převod do Tritiia z SQL databáze Clavius.
74 <p>Proto je nutné převést celý Clavius do SQL (lze využít SQL server pro Tritius), tento krok lze vynechat jen pokud se importuje pouze fond.
75 <p>Je zapotřebí použít program <b>NASQL.exe</b></p>
76 <hr style="border: none; height: 5px; background-color: black;">
77 </div>
78 <script>
79 function toggleContent(contentId) {
80 var content = document.getElementById(contentId);
81 if (content.style.display === "none") {
82 content.style.display = "block";
83 } else {
84 content.style.display = "none";
85 }
86 }
87 </script>
88 {{/html}}
89
90 == Importování knihovny pokud v cílovém Tritiu již je část svazků (např. Výměnné soubory) ==
91
92 {{html}}
93 <span style="color: red;">Při importu např. na Lounský serveru je někdy VF v Claviu jako vlastní fond, a u některých VF svazků v Claviu je v čárovém jiný prefix, něž mají Louny, takže se importem nerozpozná, že jde o duplicitu. Je potřeba toto při každém importu REKSovky do Tritia pečlivě hlídat.</span>
94 {{/html}}
95
96 --V případě připojování dat je nutná existence čárového kódu v tabulce svazky u výměnných souborů, aby došlo ke správnému napárování DEPRECATED:--
97
98 {{html}}
99 <button onclick="toggleContent('content2')">Postup kontroly a příkazy pro vygenerování</button>
100 <div id="content2" style="display: none;">
101 <hr style="border: none; height: 5px; background-color: black;">
102 <p><b>Kontrola dat v Claviu, jestli obsahují vygenerovaný správně ckod, kdy 31840 - je prefix nadřízené knihovny:</b></p>
103 <br>
104 <p>browse for betw(val(pcislo),500000,599999) and !empt(ckod) and ckod<>'31840'</p>
105 <br>
106 <p><b>Pokud nic nevrátí, tak netřeba dělat! V opačném případě je potřeba předem dogenerovat do svazky.ckod čárový kód s prefiem nadřízené knihovny:</b></p>
107 <br>
108 <p>browse for betw(val(pcislo),500000,599999) and betw(len(allt(ckod)),0,8)</p>
109 <br>
110 <p>repl ckod with '31840'+padl(allt(pcislo),8,'0') for betw(val(pcislo),500000,599999) and betw(len(allt(ckod)),0,8)</p>
111 <p>repl ckod with '31840'+right(ckod,7) for betw(val(pcislo),500000,599999) and !empt(ckod) and ckod<>'31840'</p>
112 <hr style="border: none; height: 5px; background-color: black;">
113 </div>
114 <script>
115 function toggleContent(contentId) {
116 var content = document.getElementById(contentId);
117 if (content.style.display === "none") {
118 content.style.display = "block";
119 } else {
120 content.style.display = "none";
121 }
122 }
123 </script>
124 {{/html}}
125
126 Je nutné zkontrolovat u VS, aby svazky měli {{html}}<span style="color: red;">vyplněný</span>{{/html}} CKOD (viz výše) a poté {{html}}<span style="color: red;">PIDKN</span>{{/html}} obsahovalo znak {{html}}<span style="color: red;">˙</span>{{/html}} :
127
128 {{html}}
129 <button onclick="toggleContent('content3')">Postup kontroly a příkazy pro vygenerování</button>
130 <div id="content3" style="display: none;">
131 <hr style="border: none; height: 5px; background-color: black;">
132 <p><b>Kontrola:</b></p>
133 <p>pohled("SELECT * FROM svazky where ckod <> ' ' AND ckod not like 'prefixImportovaneREKSovky%' AND pidkn != '˙'")</p>
134 <p></p>
135 <p>- Zontrolovat okem, ujistit se že jsou to VS a až pak opravit.</p>
136 <p><b>Oprava:</b></p>
137 <p>pohled("UPDATE svazky SET pidkn = '˙' where ckod <> ' ' AND ckod not like 'prefixImportovaneREKSovky%' AND pidkn != '˙'")</p>
138 <hr style="border: none; height: 5px; background-color: black;">
139 </div>
140 <script>
141 function toggleContent(contentId) {
142 var content = document.getElementById(contentId);
143 if (content.style.display === "none") {
144 content.style.display = "block";
145 } else {
146 content.style.display = "none";
147 }
148 }
149 </script>
150 {{/html}}
151
152 //Rozdíly oproti bodu 2.6.2 Import dat~://
153
154 1. **{{html}}<span style="color: green;">Díla:</span>{{/html}}**
155
156 * vybrat v roletce pro duplicity: {{html}}<span style="color: red;">Kontroluje duplicitu čárových kódů - duplicitní čárové kódy neimportuje a nepřidá je failed souboru</span>{{/html}}
157 ** doporučuji použít až na druhý pokus a okem zkontrolovat, že jsou to opravdu duplicity s knihovnou, která už je na serveru
158
159 1. **{{html}}<span style="color: green;">Výpůjčky:</span>{{/html}}**
160
161 * Vybrat {{html}}<span style="color: red;">KPUJCKY_REKS</span>{{/html}} a neimportovat KPUJCKY!
162
163 == Import dat v Tritiu, pokud v cílovém Tritiu není část svazků (např. Výměnné soubory) ==
164
165 === Založení knihovny v Tritiu ===
166
167 Je potřeba zaregistrovat novou knihovnu v Tritiu (Přihlášení do Tritia tlačítko Registrovat)
168
169 Při převádění REKSového Clavia nebo převádění knihovny, která má {{html}}<span style="color: red;">Carmen</span></span>{{/html}} (Knihovna s REKSovkami - Clavius neobsahuje pouze jednu knihovnu) nedávat po registraci vytvořit webovou definici - vznikne naimportováním DEFWEB, kdy dojde k založení webové definice pro každou REKSovou knihovnu.
170
171 {{html}}
172 <span style="color: red;">!!!Před zahájením zkontrolovat dostatek místa na disku VM!!!</span>
173 {{/html}}
174
175 Kontrolu lze provést 2 způsoby:
176
177 1. přes putty pomocí příkazu df -h
178 1. v Zabixxu: Sledování → Obrazovky → VM Overview → Hostitel vybrat VM a podívat se na graf Disk space usage
179
180 === Import dat ===
181
182 {{html}}
183 <span style="color: red; font-size: 20px;">!!!Pokud se jedná o sdílený server, tak převádět až po 20:00 a provést zálohu databáze, kdyby se něco zvrtlo co nedokáže <a href="https://doc.tritius.cz/bin/view/uzivatelsky-manual/Pro-spravce/Postup-prevodu-dat-z-Clavia/Postup-Odstraneni-importovanych-dat/">Postup Odstranění importovaných dat</a> vyřešit a bylo potřeba provést obnovení!!!</span>
184 {{/html}}
185
186
187 {{html}}<span style="color: red;">Import REKS:</span>{{/html}} nezapomenout **{{html}}<span style="color: red;">zamknout</span>{{/html}}** slovníky (především klíčová slova, popřípadě dodavatele)
188
189 **{{html}}<span style="color: red;">POZOR!!!!</span>{{/html}}**: kontrola na existenci A podpolí v Tritiu, které zbyli od minulého importu, pokud ano tak smazat před importem!:
190
191 {{html}}
192 <button onclick="toggleContent('content5')">Příkaz pro kontrolu</button>
193 <div id="content5" style="display: none;">
194 <hr style="border: none; height: 5px; background-color: black;">
195 <p>select count(*) from authority_data where subfield_definition in (</p>
196 <p>select id from subfield_definition where name_sub='A')</p>
197 <br>
198 <p>select count(*) from work_data where subfield_definition in (</p>
199 <p>select id from subfield_definition where name_sub='A')</p>
200 <br>
201 <p>dále:</p>
202 <p>Po zapnutí Importovacího módu nesmí tabulka import_id_backup obsahovat jediný řádek, který má ve sloupci library ID právě převáděné knihovny, tedy select * from import_id_backup where library = ID_prave_prevadene_knihovny musí vrátit 0 .</p>
203 <hr style="border: none; height: 5px; background-color: black;">
204 </div>
205 <script>
206 function toggleContent(contentId) {
207 var content = document.getElementById(contentId);
208 if (content.style.display === "none") {
209 content.style.display = "block";
210 } else {
211 content.style.display = "none";
212 }
213 }
214 </script>
215 {{/html}}
216
217 * Pokud importuji do knihovny s defaultně jiným jazykem (slovenské knihovny) musím před importem správně nastavit **SYSTEM_DEFAULT_LANGUAGE **tak i** LOCALE.**
218 * Pokud se nejedná o multiknihovní instanci, nastavit v položkách nastavení **{{html}}<span style="color: red;">MULTI_LIBRARY_INSTANCE</span>{{/html}}** na false ( -304 ) - musí se provést před importem vzkazů čtenářů.
219 * V záložce **Systém** je volba **{{html}}<span style="color: green;">Import dat</span>{{/html}}**
220 * Spustí se importní mód - běžní uživatelé se do knihovny v importním módu nemohou přihlásit
221 * //Doporučení - naimportovat dump databáze na VM s Tritiem pod uživatelem root (import je řádově rychlejší)//
222 * URL spojení databázi Clavius SQL kde jsou výpůjčky :
223 ** Pro MySQL: **jdbc:mysql:~/~/server.lanius.cz:3306///{{html}}<span style="color: green;"><databaseName></span>{{/html}}//?useUnicode=true&characterEncoding=UTF-8&serverTimezone=Europe/Prague**
224 ** Pro MSSQL: **jdbc:sqlserver:~/~/192.168.0.24:1433;databaseName=//{{html}}<span style="color: green;"><databaseName></span>{{/html}}//**;SendStringParametersAsUnicode=False;
225 * Zadáte uživatele a heslo pro připojení do databáze a tlačítkem **{{html}}<span style="color: green;">Připojit</span>{{/html}}** provedete spojení (po úspěchu se tlačítko změní na **Odpojit**)
226 * **{{html}}<span style="color: green;">Start import mode</span>{{/html}}**
227 * Postupně procházíme jednotlivé záložky zleva do prava. Vynecháváme ty které nejsou vždy (akvizice, webový katalog Carmen)
228 ** **{{html}}<span style="color: green;">Záložka Definice</span>{{/html}}** **{{html}}<span style="color: red;">(u sdíleného serveru zvážit neimportování kvůli tvorbě duplicit nebo je naimportovat a pak ty co už na serveru jsou vymazat)</span>{{/html}}**- vybrat postupně po jedné definiční tabulky a dejte **Importuj** vybrané tabulky (v případě opakovaného importu podruhé neprovádět !!!)
229 *** **Definici webů (DEFWEB)** importovat pouze pro REKSové knihovny (při převodu do sdílené knihovny je třeba založit ručně při registraci knihovny)
230 *** Pokud se nepodaří v případě knihovny, která má Carmen převést DEFWEB, tak stačí v Tritius založit ručně webovou definici a do import_id vyplnit ID, které se najde v databázi Clavia:
231 *** SELECT distinct defWebId FROM car_cloud;
232
233 *
234 ** //Doporučení - Pokud se jedná o převod větší knihovny, tak po importu větších dat (autorit, díla, poplatky, čtenáři, výpůjčky, ...) dělat zálohu databáze//
235 ** **{{html}}<span style="color: green;">Záložka Autority</span>{{/html}} {{html}}<span style="color: red;">(u REKSovky zvážit neimportování!)</span>{{/html}}**:
236 *** tlačítko Nahrát soubor nalistujeme **AUTORITY.TAG** a po jeho nahrání jej vybereme a dáme Importovat. Po importu jsou chybné, neimportované záznamy v souboru failed
237 ** Pokud je soubor velký desítky MB a nejde nahrát zkuste přímou adresu např.  : [[http:~~/~~/192.168.0.250:8080/Tritius/>>url:http://192.168.0.250:8080/Tritius/cz.effectiva.tritius.Application/Application.html#Import_wizard]]  takto obejdete Apache web server
238 ** **{{html}}<span style="color: green;">Záložka Díla a Svazky </span>{{/html}} {{html}}<span style="color: red;">(u REKSovky zvážit ztitulování a neskládání autorit!)</span>{{/html}}:**
239 *** obsah složky **NAWEB** z Clavia (pokud existuje) - v průvodci importu dat je na záložce import děl tlačítko, které nahraje zabalenou složku (NAWEB.zip) do příslušné složky a rozbalí. (dříve - ručně nakopírovat do složky Tritia (\tritius\files\Clavius\WORK\NAWEB)
240 *** {{html}}<span style="color: red;">Pozor: zkontrolovat názvy souborů pokud obsahují mezery nebo znaky s diakritikou nedojde k propojení !!!</span>{{/html}}
241 *** Typ importu duplicit - kontroluje duplicitu podle typu dokumentu a ISBN, popřípadě podle typu dokumentu, názvu, autora a roku (Zkontrolovat duplicity ISBN v TAGu)
242 *** Přes Nahrát soubor vybereme **DATA.TAG** a po jeho nahrání jej vybereme a dáme Importovat. Po importu jsou chybné, neimportované záznamy v souboru failed
243 *** Problémové záznamy v souboru failed, které se nenaimportovaly, je potřeba hned řešit tzn. **opravit a opakovaně importovat teprve pak se může pokračovat**!
244 ** **{{html}}<span style="color: green;">Čtenáři:</span>{{/html}}**
245 *** Vybrat CTENARI nebo CTENARI_DO_VSECH_KNIHOVEN - {{html}}<span style="color: red;">neimportovat obě!</span>{{/html}}
246 ** **{{html}}<span style="color: green;">MVS</span>{{/html}}**
247 *** Lepší Vytvářet nové záznamy, aby nedocházelo k propojení rezervací na MVS. (i u importu REKS)
248 ** **{{html}}<span style="color: green;">Záložka Výpůjčky</span>{{/html}}**:
249 *** Vybrat KPUJCKY nebo KPUJCKY_REKS - {{html}}<span style="color: red;">neimportovat obě!</span>{{/html}}
250 *** postupně po jednotlivých tabulkách importovat a v logu kontrolovat provedení.
251 *** **Poplatky **- způsob uhrazení (poplatek.kartou)
252 **** 0 - platba v hotovosti
253 **** 1, 2, 3, 4 - platba kartou
254 **** 5, 6, 7 - platba na účet
255 **** 8, 9 - platba kreditem
256 * //Odstranit z VM databázi Clavia, pokud byla naimportována do VM.//
257
258 === Odstranění importovaných dat ===
259
260 Pokud dojde během importu k problému s některou částí importu (kromě nastavení), tak ji lze smazat pomocí: [[Postup Odstranění importovaných dat>>doc:.Postup-Odstraneni-importovanych-dat.WebHome]]
261
262 == Nastavení po importu ==
263
264 * **{{html}}<span style="color: red;">Před ukončením importního módu je třeba vytvořit zálohu databáze.</span>{{/html}}**
265 * **{{html}}<span style="color: red;">Ukončit import mód - až v momentě, kdy jsou všechna data správně převedená! **(u velkého serveru může zastavení trvat i půl hodiny)</span>{{/html}}**
266 * Pokud se převáděla konfigurace výpůjčního protokolu je potřeba projít a opravit [[podmínky >>doc:uzivatelsky-manual.Pro-spravce.Priklady-podminek.WebHome]]v následujících částek nastavení, jinak by spadla reindexace:
267 ** Kategorie operací
268 ** Pravidla registrací
269 ** Prohledávané oblasti
270 ** Definice webů - nastavit také výp. kategorii **Nezobrazovat na WWW** ((itemBorrowCategoryId IS NULL OR itemBorrowCategoryId <> 3)) - ID se liší podle převodu
271 * Na poslední záložce **Naplánované úlohy** spustit postupně od shora jednotlivé operace
272 ** u malé knihovny nečekat na dokončení a lze pustit od shora najednou
273 ** u velké knihovny pustit 1., 2., 3., počkat na dokončení a poté pustit 4. a po dokončení pustit 5. a po dokončení pustit 6.
274
275 == Závěrečné důležité operace ==
276
277 * **Restart Tomcatu pomocí tools** (vyčistí se paměť po importu) !!!(((
278
279 )))
280 * **{{html}}<span style="color: red;">Provést nastavení podle checklist!!!!</span>{{/html}}**
281 * **{{html}}<span style="color: red;">Přečíst 2.1 Tipy a Triky na začátku stránky!</span>{{/html}}**
282
283 = Regulární výrazy pro opravy dat =
284
285 Všechny nové regulární výrazy je třeba nejprve otestovat vývojářem - **ReplaceHelperTest**. - příklady viz poslední stránka:
286
287 [[attach:TP-109543491-280624-1107-24.pdf||target="_blank"]]