Skip to Content

Zdrojový kód wiki Postup převodu dat z Clavia

Version 24.1 by Jan Šimeček on 2024/06/28 10:22
Hide last authors
Jan Šimeček 1.1 1
2
3 = Záloha dat Clavia pro převod do Tritia =
4
Jan Šimeček 2.1 5 Postup pro malé knihovny k poslání je zde: [[Záloha dat Clavia pro převod do Tritia>>doc:.Zaloha-dat-Clavia-pro-prevod-do-Tritia.WebHome]]
Jan Šimeček 1.1 6
7 = Převod =
8
9 == Tipy a Triky ==
10
Jan Šimeček 14.1 11 {{html}}
Jan Šimeček 23.1 12 <button onclick="toggleContent('content1')">Tipy a Triky - přečíst</button>
13 <div id="content1" style="display: none;">
Jan Šimeček 18.1 14 <p>Revize se nepřevádí, musí být před zahájením převodu do Tritia uzavřena.</p>
15 <p>Dispečink Clavia se nepřevádí, pokud data potřebují, tak si je musí před vypnutím Clavia opsat.</p>
16 <p>Statistiky LWWW se nepřevádí, knihovna si je musí opsat.</p>
17 <p>Neměnit klíč v definici poplatků po testovacím převodu, nepovede se pak napojení poplatků při dalším importu - měnit až po posledním importu knihovny.</p>
18 <p>Neměnit zkratky v odděleních, nebude fungovat vazba výchozího oddělení čtenáře - měnit až po ostrém startu.</p>
Jan Šimeček 14.1 19 </div>
Jan Šimeček 16.1 20 <script>
Jan Šimeček 23.1 21 function toggleContent(contentId) {
22 var content = document.getElementById(contentId);
Jan Šimeček 16.1 23 if (content.style.display === "none") {
24 content.style.display = "block";
25 } else {
26 content.style.display = "none";
27 }
28 }
29 </script>
Jan Šimeček 14.1 30 {{/html}}
Jan Šimeček 1.1 31
32 == Příprava převodu ==
33
Jan Šimeček 2.1 34 * Zeptat se knihovny před převodem: [[Dotazy na knihovnu před převodem>>doc:.Dotazy-na-knihovnu-pred-prevodem.WebHome]]
Jan Šimeček 7.1 35 * Zálohu rozbalovat přes **{{html}}<span style="color: red;">Total Commander </span>{{/html}}**- ne přes Windows průzkumníka!!!
Jan Šimeček 1.1 36
Jan Šimeček 7.1 37 1. **{{html}}<span style="color: green;">Aktualizovat Clavius</span>{{/html}}** na současnou verzi (Pomůcky → Update přes internet)
38 1. **{{html}}<span style="color: green;">Provést synchronizaci polí</span>{{/html}}** (Pomůcky → Editace polí → Sync → Aktualizovat)
39 1. **{{html}}<span style="color: green;">Provést kontrolu integrit dat </span>{{/html}}**(chyby opravovat !!! hlavně dogenerovat autority a smazat chybná pole)
Jan Šimeček 1.1 40 1*. Katalogizace:
41 1**. **do integrit with .t.,.t. **( lze využít i příkazu **do tritius** , dělá to samé )
42 1***. vyzve ke sloučení slovníků C1 a C3 do C1 - dát ano
43 1**. **do OKindik with .T.**
44 1*. Výpůjčák
45 1**. Clex.exe → Systém → Provést Kontrolu integrity dat)
Jan Šimeček 7.1 46 1. **{{html}}<span style="color: green;">pohled([select !s.scislo, s.pcislo, s.ucislo, #s.ckod from svazky s, (select ckod from svazky group by ckod having count(*)>1) s1 where s.ckod<>'' and s.ckod=s1.ckod order by s.ckod])</span>{{/html}}**
Jan Šimeček 1.1 47 1*. duplicity čárových kódů svazků řešit ve foxíku tak že za čárový kód přídáte písmeno a,b,c ...  kromě prvního výskytu čárového kódu
Jan Šimeček 12.1 48 1. **{{html}}select isxn, count(*) as pocet from tituly group by isxn order by pocet desc{{/html}}**
Jan Šimeček 1.1 49 1*. kontrola na duplicitu ISBN
50
51 == Vlastní export dat z Clavia - automaticky (verze Clavia od 28.2.2019) ==
52
Jan Šimeček 14.1 53 * **{{html}}<span style="color: red;">Pokud se jedná o reksové centrum, musí export probíhat pod uživatelem Správce Reksu!!</span>{{/html}}** ( Systém - Servis dat - Výběr jiné knihovny - zaškrtnout Správce REKSu - OK )
Jan Šimeček 1.1 54 * Při importu REKS knihovny = přečíst oddíl 2.5 ( možná úprava svazků v Claviu )
55 * ve foxíku spustit:
56 * **do FULLEXPORT**
57 ** -vyzve ke kontrole OKAcisla - dát ano a lze jít spát, bude následně automaticky pokračovat export tagů
58 * TAG soubory se automaticky vygenerují do složky TXT ve složce Clavius
59
60 == Příprava CLAVIUS SQL ==
61
62 Pro převod dat akvizice, výpůjčního protokolu a další částí se používá přímý převod do Tritiia z SQL databáze Clavius.
63 Proto je nutné převést celý Clavius do SQL (lze využít SQL server pro Tritius), tento krok lze vynechat jen pokud se importuje pouze fond.
64
65 * postup vytvoření databáze clavius na SQL serveru a převodu dat Clavia pomocí **NASQL.EXE** viz: [[http:~~/~~/www.vkta.cz/LANius/diskety/sql/mssql.htm>>url:http://www.vkta.cz/LANius/diskety/sql/mssql.htm]] pro MSSQL
66 * není potřeba nic nastavovat pouze je potřeba SQL uživatel který má plná práva pro databázi clavius
67
68 == Importování knihovny pokud v cílovém Tritiu již je část svazků (např. Výměnné soubory) ==
69
70 V případě připojování dat je nutná existence čárového kódu v tabulce svazky u výměnných souborů, aby došlo ke správnému napárování:
71
72 //Rozdíly oproti bodu 2.6.2 Import dat~://
73
74 1. **Díla:**
75
Jan Šimeček 24.1 76 *
Jan Šimeček 1.1 77 ** vybrat v roletce pro duplicity: Kontroluje duplicitu čárových kódů - duplicitní čárové kódy neimportuje a nepřidá je failed souboru
78 *** doporučuji použít až na druhý pokus a okem zkontrolovat, že jsou to opravdu duplicity s knihovnou, která už je na serveru
79
80 1. **Výpůjčky:**
81
Jan Šimeček 24.1 82 *
Jan Šimeček 1.1 83 ** Vybrat KPUJCKY_REKS a neimportovat KPUJCKY!
84
85 == Import dat v Tritiu, pokud v cílovém Tritiu není část svazků (např. Výměnné soubory) ==
86
87 === Založení knihovny v Tritiu ===
88
89 Je potřeba zaregistrovat novou knihovnu v Tritiu (Přihlášení do Tritia tlačítko Registrovat)
90
91 Při převádění REKSového Clavia nebo převádění knihovny, která má Carmen (Knihovna s REKSovkami - Clavius neobsahuje pouze jednu knihovnu) nedávat po registraci vytvořit webovou definici - vznikne naimportováním DEFWEB, kdy dojde k založení webové definice pro každou REKSovou knihovnu.
92
93 ~!!!Pokud se jedná o sdílený server, kde již běží knihovny na ostro, tak provést zálohu databáze, kdyby se něco zvrtlo co nedokáže [[Postup Odstranění importovaných dat>>url:https://confluence.tritius.cz/pages/viewpage.action?pageId=102925148]] vyřešit a bylo potřeba provést obnovení!!!
94
95 ~!!!Před zahájením zkontrolovat dostatek místa na disku VM!!!.
96
97 Kontrolu lze provést 2 způsoby:
98
99 1. přes putty pomocí příkazu df -h
100 1. v Zabixxu: Sledování → Obrazovky → VM Overview → Hostitel vybrat VM a podívat se na graf Disk space usage
101
102 === Import dat ===
103
104 Import REKS: nezapomenout **zamknout** slovníky (především klíčová slova, popřípadě dodavatele)
105
106 **POZOR!!!!**: kontrola na existenci A podpolí v Tritiu, které zbyli od minulého importu, pokud ano tak smazat před importem!:
107
Jan Šimeček 2.1 108 |
Jan Šimeček 1.1 109
110 {{{select count(*) from authority_data where subfield_definition in (
111 select id from subfield_definition where name_sub='A')
112
113 select count(*) from work_data where subfield_definition in (
114 select id from subfield_definition where name_sub='A')
115
116 dále:
117 Po zapnutí Importovacího módu nesmí tabulka import_id_backup obsahovat jediný řádek, který má ve sloupci library ID právě převáděné knihovny, tedy select * from import_id_backup where library = ID_prave_prevadene_knihovny musí vrátit 0 . }}}
118
Jan Šimeček 2.1 119 * Pokud importuji do knihovny s defaultně jiným jazykem (slovenské knihovny) musím před importem správně nastavit **SYSTEM_DEFAULT_LANGUAGE **tak i** LOCALE.**
Jan Šimeček 1.1 120 * Pokud se nejedná o multiknihovní instanci, nastavit v položkách nastavení **MULTI_LIBRARY_INSTANCE** na false ( -304 ) - musí se provést před importem vzkazů čtenářů.
121 * V záložce **Systém** je volba **Import dat**
122 * Spustí se importní mód - běžní uživatelé se do knihovny v importním módu nemohou přihlásit
123 * //Doporučení - naimportovat dump databáze na VM s Tritiem pod uživatelem root (import je řádově rychlejší)//
124 * URL spojení databázi Clavius SQL kde jsou výpůjčky :
125 ** Pro MySQL: **jdbc:mysql:~/~/server.lanius.cz:3306///<databaseName>//?useUnicode=true&characterEncoding=UTF-8&serverTimezone=Europe/Prague**
126 ** Pro MSSQL: **jdbc:sqlserver:~/~/192.168.0.24:1433;databaseName=//<databaseName>//**;SendStringParametersAsUnicode=False;
127 * Zadáte uživatele a heslo pro připojení do databáze a tlačítkem **Připojit** provedete spojení (po úspěchu se tlačítko změní na **Odpojit**)
128 * **Start import mode**
129 * Postupně procházíme jednotlivé záložky zleva do prava. Vynecháváme ty které nejsou vždy (akvizice, webový katalog Carmen)
130 ** **Záložka Definice** - vybrat postupně po jedné definiční tabulky a dejte **Importuj** vybrané tabulky (v případě opakovaného importu podruhé neprovádět !!!)
131 *** **Definici webů (DEFWEB)** importovat pouze pro REKSové knihovny (při převodu do sdílené knihovny je třeba založit ručně při registraci knihovny)
132 *** Pokud se nepodaří v případě knihovny, která má Carmen převést DEFWEB, tak stačí v Tritius založit ručně webovou definici a do import_id vyplnit ID, které se najde v databázi Clavia:
133 *** SELECT distinct defWebId FROM car_cloud;
134
Jan Šimeček 24.1 135 *
Jan Šimeček 1.1 136 ** //Doporučení - Pokud se jedná o převod větší knihovny, tak po importu větších dat (autorit, díla, poplatky, čtenáři, výpůjčky, ...) dělat zálohu databáze//
137 ** **Záložka Autority (u REKSovky zvážit neimportování!)**:
138 *** tlačítko Nahrát soubor nalistujeme **AUTORITY.TAG** a po jeho nahrání jej vybereme a dáme Importovat. Po importu jsou chybné, neimportované záznamy v souboru failed
139 ** Pokud je soubor velký desítky MB a nejde nahrát zkuste přímou adresu např.  : [[http:~~/~~/192.168.0.250:8080/Tritius/>>url:http://192.168.0.250:8080/Tritius/cz.effectiva.tritius.Application/Application.html#Import_wizard]]  takto obejdete Apache web server
140 ** **Záložka Díla a Svazky (u REKSovky zvážit ztitulování a neskládání autorit!):**
141 *** obsah složky **NAWEB** z Clavia (pokud existuje) - v průvodci importu dat je na záložce import děl tlačítko, které nahraje zabalenou složku (NAWEB.zip) do příslušné složky a rozbalí. (dříve - ručně nakopírovat do složky Tritia (\tritius\files\Clavius\WORK\NAWEB)
142 *** Pozor: zkontrolovat názvy souborů pokud obsahují mezery nebo znaky s diakritikou nedojde k propojení !!!
143 *** Typ importu duplicit - kontroluje duplicitu podle typu dokumentu a ISBN, popřípadě podle typu dokumentu, názvu, autora a roku (Zkontrolovat duplicity ISBN v TAGu)
144 *** Přes Nahrát soubor vybereme **DATA.TAG** a po jeho nahrání jej vybereme a dáme Importovat. Po importu jsou chybné, neimportované záznamy v souboru failed
145 *** Problémové záznamy v souboru failed, které se nenaimportovaly, je potřeba hned řešit tzn. **opravit a opakovaně importovat teprve pak se může pokračovat**!
146 ** **Čtenáři:**
147 *** Vybrat CTENARI nebo CTENARI_DO_VSECH_KNIHOVEN - neimportovat obě!
148 ** **MVS**
149 *** Lepší Vytvářet nové záznamy, aby nedocházelo k propojení rezervací na MVS.
150 ** **Záložka Výpůjčky**:
151 *** Vybrat KPUJCKY nebo KPUJCKY_REKS - neimportovat obě!
152 *** postupně po jednotlivých tabulkách importovat a v logu kontrolovat provedení.
153 *** **Poplatky **- způsob uhrazení (poplatek.kartou)
154 **** 0 - platba v hotovosti
155 **** 1, 2, 3, 4 - platba kartou
156 **** 5, 6, 7 - platba na účet
157 **** 8, 9 - platba kreditem
158 * //Odstranit z VM databázi Clavia, pokud byla naimportována do VM.//
159
160 === Odstranění importovaných dat ===
161
162 Pokud dojde během importu k problému s některou částí importu (kromě nastavení), tak ji lze smazat pomocí: [[Postup Odstranění importovaných dat>>url:https://confluence.tritius.cz/pages/viewpage.action?pageId=102925148]]
163
164 == Nastavení po importu ==
165
166 * **Před ukončením importního módu je třeba vytvořit zálohu databáze.**
167 * **Ukončit import mód - až v momentě, kdy jsou všechna data správně převedená! **(u velkého serveru může zastavení trvat i půl hodiny)
168 * Pokud se převáděla konfigurace výpůjčního protokolu je potřeba projít a opravit podmínky v následujících částek nastavení, jinak by spadla reindexace:
169 ** Kategorie operací
170 ** Pravidla registrací
171 ** Prohledávané oblasti
172 ** Definice webů - nastavit také výp. kategorii **Nezobrazovat na WWW** ((itemBorrowCategoryId IS NULL OR itemBorrowCategoryId <> 3)) - ID se liší podle převodu
173 * Na poslední záložce **Naplánované úlohy** spustit postupně od shora jednotlivé operace
174 ** u malé knihovny nečekat na dokončení a lze pustit od shora najednou
175 ** u velké knihovny pustit 1., 2., 3., počkat na dokončení a poté pustit 4. a po dokončení pustit 5. a po dokončení pustit 6.
176
177 == Závěrečné důležité operace ==
178
179 * **Restart Tomcatu pomocí tools** (vyčistí se paměť po importu) !!!(((
180
181 )))
182 * **Provést nastavení podle checklist!!!!**
183 * **Přečíst 2.1 Tipy a Triky na začátku stránky!**
184
185 = Regulární výrazy pro opravy dat =
186
187 Všechny nové regulární výrazy je třeba nejprve otestovat vývojářem - **ReplaceHelperTest**.
188
189 |(((
190 == Autority ==
191
192 |=Popis problému|=Regulární výraz|=Vstup|=Výstup|=(% colspan="1" %)Poznámka
Jan Šimeček 2.1 193 | Pole 100 obsahuje podpole 4.|
Jan Šimeček 1.1 194
195 {{{100\\ [\\ 0-9]{2}\\ \\$4.*}}}|
196
Jan Šimeček 2.1 197 {{{100 1  $4070}}}| |(% colspan="1" %)Celé pole se zahodí.
Jan Šimeček 1.1 198
Jan Šimeček 2.1 199 | Obsahuje pole 1??|
200
Jan Šimeček 1.1 201 {{{(1\?\?\ )(.*,.*)§100 $2}}}
202
203 {{{(1\?\?\ )(.*)§110 $2}}}|
204
Jan Šimeček 2.1 205 {{{1??  $aAudoly, Sylvie}}}|
Jan Šimeček 1.1 206
Jan Šimeček 2.1 207 {{{100 $aAudoly, Sylvie}}}|(% colspan="1" %)Pokusí se rozpoznat zda se jedná o osobní jméno, nebo korporaci (pokud je osobní jméno, obsahuje hodnota čárku)
Jan Šimeček 1.1 208
Jan Šimeček 2.1 209 |(% colspan="1" %)Pole 1XXa je prázdné|(% colspan="1" %)
Jan Šimeček 1.1 210
Jan Šimeček 2.1 211 {{{^1??.*\\$a$}}}|
Jan Šimeček 1.1 212
Jan Šimeček 2.1 213 {{{199  $a}}}|(% colspan="1" %) |Odstraní se celé opakování pole
Jan Šimeček 1.1 214
Jan Šimeček 2.1 215 |(% colspan="1" %)Obsahuje pole 100 a 110|(% colspan="1" %)
Jan Šimeček 1.1 216
Jan Šimeček 2.1 217 {{{^110.*}}}|
Jan Šimeček 1.1 218
Jan Šimeček 2.1 219 {{{100 1 $aRoni, Luigi 110 2 $aRoni, Luigii}}}|
220
221 {{{100 1 $aRoni, Luigi}}}|(% colspan="1" %)Odstraní opakování pole 110
222
Jan Šimeček 1.1 223 == Díla ==
224
225 |=Popis problému|=Regulární výraz|=Vstup|=Výstup|=(% colspan="1" %)Poznámka
Jan Šimeček 2.1 226 |Odkazy na soubory v NAWEB obsahují před adresářem neplatné znaky.|
Jan Šimeček 1.1 227
Jan Šimeček 2.1 228 {{{(X00[\ ]{4}.*\$[uo]).*(NAWEB.*)(\$.*)§$1$2$3 (X00[\ ]{4}.*\$[uo]).*(NAWEB.*)§$1$2}}}|
Jan Šimeček 1.1 229
Jan Šimeček 2.1 230 {{{X00 $uW:\NAWEB\OBSAHY\N38492.pdf$tObsah$oNAWEB\2016_Knihy\N38492.jpg X00 $uW:\NAWEB\OBSAHY\N38492.pdf$tObsah$oW:\NAWEB\2016_Knihy\N38492.jpg X00 $uNAWEB\OBSAHY\N38492.pdf$tObsah$oW:\NAWEB\2016_Knihy\N38492.jpg X00 $oW:\NAWEB\OBSAHY\N38492.pdf$tObsah$uNAWEB\2016_Knihy\N38492.jpg X00 $oW:\NAWEB\OBSAHY\N38492.pdf$tObsah$uW:\NAWEB\2016_Knihy\N38492.jpg X00 $oNAWEB\OBSAHY\N38492.pdf$tObsah$uW:\NAWEB\2016_Knihy\N38492.jpg}}}|
Jan Šimeček 1.1 231
Jan Šimeček 2.1 232 {{{X00 $uNAWEB\OBSAHY\N38492.pdf$tObsah$oNAWEB\2016_Knihy\N38492.jpg X00 $uNAWEB\OBSAHY\N38492.pdf$tObsah$oNAWEB\2016_Knihy\N38492.jpg X00 $uNAWEB\OBSAHY\N38492.pdf$tObsah$oNAWEB\2016_Knihy\N38492.jpg X00 $oNAWEB\OBSAHY\N38492.pdf$tObsah$uNAWEB\2016_Knihy\N38492.jpg X00 $oNAWEB\OBSAHY\N38492.pdf$tObsah$uNAWEB\2016_Knihy\N38492.jpg X00 $oNAWEB\OBSAHY\N38492.pdf$tObsah$uNAWEB\2016_Knihy\N38492.jpg}}}|(% colspan="1" %)Odstraní znaky co nepatří před NAWEB.
Jan Šimeček 1.1 233
Jan Šimeček 2.1 234 |(% colspan="1" %)X00 odakzuje na adresář, který neexistuje z důvodu velikosti písmen na linuxu (velikost písmen se musí shodovat).|(% colspan="1" %)
Jan Šimeček 1.1 235
Jan Šimeček 2.1 236 {{{(X00[\ ]{4}\$[ou]NAWEB[\\/])OBSAHY([\\/].*)§$1Obsahy$2}}}|
Jan Šimeček 1.1 237
Jan Šimeček 2.1 238 {{{X00 $oNAWEB/OBSAHY/NC3404.pdf}}}|
Jan Šimeček 1.1 239
Jan Šimeček 2.1 240 {{{X00 $oNAWEB/Obsahy/NC3404.pdf}}}|(% colspan="1" %)Změna velikosti písmen "OBSAHY" → "Obsahy". Regulární příkaz se musí dát až za regulární příkaz opravující validnost cesty.
Jan Šimeček 1.1 241
Jan Šimeček 2.1 242 |(% colspan="1" %)Obsahuje pole ???.|(% colspan="1" %)
Jan Šimeček 1.1 243
Jan Šimeček 2.1 244 {{{^\?\?\?.*}}}|
Jan Šimeček 1.1 245
Jan Šimeček 2.1 246 {{{???  $aCzech Republic$eautomapa}}}|(% colspan="1" %) |Odstraní otazníkové pole.
Jan Šimeček 1.1 247
Jan Šimeček 2.1 248 |(% colspan="1" %)1XX4 nebo 7XX4 obsahuje neexistující kód role|(% colspan="1" %)
249
250 {{{(^[710]{3}.*)(\$4sut)(.*)§$1$3}}}|
251
252 {{{100 1  $A1000239919$aLiker, Jeffrey K.$7xx0031426$4sut}}}|
253
Jan Šimeček 1.1 254 {{{100 1  $A1000239919$aLiker, Jeffrey K.$7xx0031426}}}|(% colspan="1" %)kód role z autority Neznámý kód role odstraní.
255
256
257 )))
258
Jan Šimeček 12.1 259 ~{~{/html}}~{~{/html}}