Changes for page Postup převodu dat z Clavia

Last modified by Jan Šimeček on 2025/11/03 15:11

From 35.1 to 36.1 From 58.1 to 59.1

From version 36.1

edited by Jan Šimeček
on 2024/06/28 10:47

Change comment: There is no comment for this version

To version 58.1

edited by Jan Šimeček
on 2025/08/01 14:33

Change comment: There is no comment for this version

Raw
Rendered

Summary

Page properties (2 modified, 0 added, 0 removed)
Attachments (0 modified, 1 added, 0 removed)
- TP-109543491-280624-1107-24.pdf

Details

Page properties

Default language

@@ -1,1 +1,1 @@
--en
++cs

Content

@@ -11,11 +11,13 @@
  {{html}}
  <button onclick="toggleContent('content1')">Tipy a Triky - přečíst</button>
  <div id="content1" style="display: none;">
++<hr style="border: none; height: 5px; background-color: black;">
  <p>Revize se nepřevádí, musí být před zahájením převodu do Tritia uzavřena.</p>
  <p>Dispečink Clavia se nepřevádí, pokud data potřebují, tak si je musí před vypnutím Clavia opsat.</p>
  <p>Statistiky LWWW se nepřevádí, knihovna si je musí opsat.</p>
  <p>Neměnit klíč v definici poplatků po testovacím převodu, nepovede se pak napojení poplatků při dalším importu - měnit až po posledním importu knihovny.</p>
  <p>Neměnit zkratky v odděleních, nebude fungovat vazba výchozího oddělení čtenáře - měnit až po ostrém startu.</p>
++<hr style="border: none; height: 5px; background-color: black;">
  </div>
  <script>
    function toggleContent(contentId) {
@@ -34,7 +34,7 @@
  * Zeptat se knihovny před převodem: [[Dotazy na knihovnu před převodem>>doc:.Dotazy-na-knihovnu-pred-prevodem.WebHome]]
  * Zálohu rozbalovat přes **{{html}}<span style="color: red;">Total Commander </span>{{/html}}**- ne přes Windows průzkumníka!!!
--1. **{{html}}<span style="color: green;">Aktualizovat Clavius</span>{{/html}}** na současnou verzi (Pomůcky → Update přes internet)
++1. **{{html}}<span style="color: green;">Aktualizovat Clavius</span>{{/html}}** na současnou verzi (Pomůcky → Update přes internet, Pomůcky → Ladící funkce → Oprava struktury dat, Systém → Obnova indexů)
 . **{{html}}<span style="color: green;">Provést synchronizaci polí</span>{{/html}}** (Pomůcky → Editace polí → Sync → Aktualizovat)
 . **{{html}}<span style="color: green;">Provést kontrolu integrit dat </span>{{/html}}**(chyby opravovat !!! hlavně dogenerovat autority a smazat chybná pole)
 *. Katalogizace:
@@ -46,7 +46,7 @@
 . **{{html}}<span style="color: green;">pohled([select !s.scislo, s.pcislo, s.ucislo, #s.ckod from svazky s, (select ckod from svazky group by ckod having count(*)>1) s1 where s.ckod<>'' and s.ckod=s1.ckod order by s.ckod])</span>{{/html}}**
 *. duplicity čárových kódů svazků řešit ve foxíku tak že za čárový kód přídáte písmeno a,b,c ...  kromě prvního výskytu čárového kódu
 . **{{html}}select isxn, count(*) as pocet from tituly group by isxn order by pocet desc{{/html}}**
--1*. kontrola na duplicitu ISBN
++1*. kontrola na duplicitu ISBN -> opravit hromadně v TAGu
  == Vlastní export dat z Clavia - automaticky (verze Clavia od 28.2.2019) ==
@@ -60,11 +60,13 @@
  == Příprava CLAVIUS SQL ==
  {{html}}
--<button onclick="toggleContent('content4')">NASQL</button>
++<button onclick="toggleContent('content4')">O programu NASQL</button>
  <div id="content4" style="display: none;">
++<hr style="border: none; height: 5px; background-color: black;">
  <p>Pro převod dat akvizice, výpůjčního protokolu a další částí se používá přímý převod do Tritiia z SQL databáze Clavius.
  <p>Proto je nutné převést celý Clavius do SQL (lze využít SQL server pro Tritius), tento krok lze vynechat jen pokud se importuje pouze fond.
  <p>Je zapotřebí použít program <b>NASQL.exe</b></p>
++<hr style="border: none; height: 5px; background-color: black;">
  </div>
  <script>
    function toggleContent(contentId) {
@@ -80,12 +80,16 @@
  == Importování knihovny pokud v cílovém Tritiu již je část svazků (např. Výměnné soubory) ==
++{{html}}
++<span style="color: red;">Při importu např. na Lounský serveru je někdy VF v Claviu jako vlastní fond, a u některých VF svazků v Claviu je v čárovém jiný prefix, něž mají Louny, takže se importem nerozpozná, že jde o duplicitu. Je potřeba toto při každém importu REKSovky do Tritia pečlivě hlídat.</span>
++{{/html}}
++
  V případě připojování dat je nutná existence čárového kódu v tabulce svazky u výměnných souborů, aby došlo ke správnému napárování:
--
  {{html}}
  <button onclick="toggleContent('content2')">Postup kontroly a příkazy pro vygenerování</button>
  <div id="content2" style="display: none;">
++<hr style="border: none; height: 5px; background-color: black;">
  <p><b>Kontrola dat v Claviu, jestli obsahují vygenerovaný správně ckod, kdy 31840 - je prefix nadřízené knihovny:</b></p>
  <br>
  <p>browse for betw(val(pcislo),500000,599999) and !empt(ckod) and ckod<>'31840'</p>
@@ -96,7 +96,7 @@
  <br>
  <p>repl ckod with '31840'+padl(allt(pcislo),8,'0') for betw(val(pcislo),500000,599999) and betw(len(allt(ckod)),0,8)</p>
  <p>repl ckod with '31840'+right(ckod,7) for betw(val(pcislo),500000,599999) and !empt(ckod) and ckod<>'31840'</p>
--<br><br>
++<hr style="border: none; height: 5px; background-color: black;">
  </div>
  <script>
    function toggleContent(contentId) {
@@ -115,12 +115,14 @@
  {{html}}
  <button onclick="toggleContent('content3')">Postup kontroly a příkazy pro vygenerování</button>
  <div id="content3" style="display: none;">
++<hr style="border: none; height: 5px; background-color: black;">
  <p><b>Kontrola:</b></p>
  <p>pohled("SELECT * FROM svazky where ckod <> ' ' AND ckod not like 'prefixImportovaneREKSovky%' AND pidkn != '˙'")</p>
  <p></p>
++<p>- Zontrolovat okem, ujistit se že jsou to VS a až pak opravit.</p>
  <p><b>Oprava:</b></p>
  <p>pohled("UPDATE svazky SET pidkn = '˙' where ckod <> ' ' AND ckod not like 'prefixImportovaneREKSovky%' AND pidkn != '˙'")</p>
--<br><br>
++<hr style="border: none; height: 5px; background-color: black;">
  </div>
  <script>
    function toggleContent(contentId) {
@@ -172,29 +172,44 @@
  **{{html}}<span style="color: red;">POZOR!!!!</span>{{/html}}**: kontrola na existenci A podpolí v Tritiu, které zbyli od minulého importu, pokud ano tak smazat před importem!:
--|
++{{html}}
++<button onclick="toggleContent('content5')">Příkaz pro kontrolu</button>
++<div id="content5" style="display: none;">
++<hr style="border: none; height: 5px; background-color: black;">
++<p>select count(*) from authority_data where subfield_definition in (</p>
++<p>select id from subfield_definition where name_sub='A')</p>
++<br>
++<p>select count(*) from work_data where subfield_definition in (</p>
++<p>select id from subfield_definition where name_sub='A')</p>
++<br>
++<p>dále:</p>
++<p>Po zapnutí Importovacího módu nesmí tabulka import_id_backup obsahovat jediný řádek, který má ve sloupci library ID právě převáděné knihovny, tedy select * from import_id_backup where library = ID_prave_prevadene_knihovny musí vrátit 0 .</p>
++<hr style="border: none; height: 5px; background-color: black;">
++</div>
++<script>
++  function toggleContent(contentId) {
++    var content = document.getElementById(contentId);
++    if (content.style.display === "none") {
++      content.style.display = "block";
++    } else {
++      content.style.display = "none";
++    }
++  }
++</script>
++{{/html}}
--{{{select count(*) from authority_data where subfield_definition in (
--select id from subfield_definition where name_sub='A')
--
--select count(*) from work_data where subfield_definition in (
--select id from subfield_definition where name_sub='A')
--
--dále:
--Po zapnutí Importovacího módu nesmí tabulka import_id_backup obsahovat jediný řádek, který má ve sloupci library ID právě převáděné knihovny, tedy select * from import_id_backup where library = ID_prave_prevadene_knihovny musí vrátit 0 . }}}
--
  * Pokud importuji do knihovny s defaultně jiným jazykem (slovenské knihovny) musím před importem správně nastavit **SYSTEM_DEFAULT_LANGUAGE **tak i** LOCALE.**
--* Pokud se nejedná o multiknihovní instanci, nastavit v položkách nastavení **MULTI_LIBRARY_INSTANCE** na false ( -304 ) - musí se provést před importem vzkazů čtenářů.
--* V záložce **Systém** je volba **Import dat**
++* Pokud se nejedná o multiknihovní instanci, nastavit v položkách nastavení **{{html}}<span style="color: red;">MULTI_LIBRARY_INSTANCE</span>{{/html}}** na false ( -304 ) - musí se provést před importem vzkazů čtenářů.
++* V záložce **Systém** je volba **{{html}}<span style="color: green;">Import dat</span>{{/html}}**
  * Spustí se importní mód - běžní uživatelé se do knihovny v importním módu nemohou přihlásit
  * //Doporučení - naimportovat dump databáze na VM s Tritiem pod uživatelem root (import je řádově rychlejší)//
  * URL spojení databázi Clavius SQL kde jsou výpůjčky :
--** Pro MySQL: **jdbc:mysql:~/~/server.lanius.cz:3306///<databaseName>//?useUnicode=true&characterEncoding=UTF-8&serverTimezone=Europe/Prague**
--** Pro MSSQL: **jdbc:sqlserver:~/~/192.168.0.24:1433;databaseName=//<databaseName>//**;SendStringParametersAsUnicode=False;
--* Zadáte uživatele a heslo pro připojení do databáze a tlačítkem **Připojit** provedete spojení (po úspěchu se tlačítko změní na **Odpojit**)
--* **Start import mode**
++** Pro MySQL: **jdbc:mysql:~/~/server.lanius.cz:3306///{{html}}<span style="color: green;"><databaseName></span>{{/html}}//?useUnicode=true&characterEncoding=UTF-8&serverTimezone=Europe/Prague**
++** Pro MSSQL: **jdbc:sqlserver:~/~/192.168.0.24:1433;databaseName=//{{html}}<span style="color: green;"><databaseName></span>{{/html}}//**;SendStringParametersAsUnicode=False;
++* Zadáte uživatele a heslo pro připojení do databáze a tlačítkem **{{html}}<span style="color: green;">Připojit</span>{{/html}}** provedete spojení (po úspěchu se tlačítko změní na **Odpojit**)
++* **{{html}}<span style="color: green;">Start import mode</span>{{/html}}**
  * Postupně procházíme jednotlivé záložky zleva do prava. Vynecháváme ty které nejsou vždy (akvizice, webový katalog Carmen)
--** **Záložka Definice** - vybrat postupně po jedné definiční tabulky a dejte **Importuj** vybrané tabulky (v případě opakovaného importu podruhé neprovádět !!!)
++** **{{html}}<span style="color: green;">Záložka Definice</span>{{/html}}** **{{html}}<span style="color: red;">(u sdíleného serveru zvážit neimportování kvůli tvorbě duplicit nebo je naimportovat a pak ty co už na serveru jsou vymazat)</span>{{/html}}**- vybrat postupně po jedné definiční tabulky a dejte **Importuj** vybrané tabulky (v případě opakovaného importu podruhé neprovádět !!!)
  *** **Definici webů (DEFWEB)** importovat pouze pro REKSové knihovny (při převodu do sdílené knihovny je třeba založit ručně při registraci knihovny)
  *** Pokud se nepodaří v případě knihovny, která má Carmen převést DEFWEB, tak stačí v Tritius založit ručně webovou definici a do import_id vyplnit ID, které se najde v databázi Clavia:
  *** SELECT distinct defWebId FROM car_cloud;
@@ -201,21 +201,21 @@
  *
  ** //Doporučení - Pokud se jedná o převod větší knihovny, tak po importu větších dat (autorit, díla, poplatky, čtenáři, výpůjčky, ...) dělat zálohu databáze//
--** **Záložka Autority (u REKSovky zvážit neimportování!)**:
++** **{{html}}<span style="color: green;">Záložka Autority</span>{{/html}} {{html}}<span style="color: red;">(u REKSovky zvážit neimportování!)</span>{{/html}}**:
  *** tlačítko Nahrát soubor nalistujeme **AUTORITY.TAG** a po jeho nahrání jej vybereme a dáme Importovat. Po importu jsou chybné, neimportované záznamy v souboru failed
  ** Pokud je soubor velký desítky MB a nejde nahrát zkuste přímou adresu např.  : [[http:~~/~~/192.168.0.250:8080/Tritius/>>url:http://192.168.0.250:8080/Tritius/cz.effectiva.tritius.Application/Application.html#Import_wizard]]  takto obejdete Apache web server
--** **Záložka Díla a Svazky (u REKSovky zvážit ztitulování a neskládání autorit!):**
++** **{{html}}<span style="color: green;">Záložka Díla a Svazky </span>{{/html}} {{html}}<span style="color: red;">(u REKSovky zvážit ztitulování a neskládání autorit!)</span>{{/html}}:**
  *** obsah složky **NAWEB** z Clavia (pokud existuje) - v průvodci importu dat je na záložce import děl tlačítko, které nahraje zabalenou složku (NAWEB.zip) do příslušné složky a rozbalí. (dříve - ručně nakopírovat do složky Tritia (\tritius\files\Clavius\WORK\NAWEB)
--*** Pozor: zkontrolovat názvy souborů pokud obsahují mezery nebo znaky s diakritikou nedojde k propojení !!!
++*** {{html}}<span style="color: red;">Pozor: zkontrolovat názvy souborů pokud obsahují mezery nebo znaky s diakritikou nedojde k propojení !!!</span>{{/html}}
  *** Typ importu duplicit - kontroluje duplicitu podle typu dokumentu a ISBN, popřípadě podle typu dokumentu, názvu, autora a roku (Zkontrolovat duplicity ISBN v TAGu)
  *** Přes Nahrát soubor vybereme **DATA.TAG** a po jeho nahrání jej vybereme a dáme Importovat. Po importu jsou chybné, neimportované záznamy v souboru failed
  *** Problémové záznamy v souboru failed, které se nenaimportovaly, je potřeba hned řešit tzn. **opravit a opakovaně importovat teprve pak se může pokračovat**!
--** **Čtenáři:**
--*** Vybrat CTENARI nebo CTENARI_DO_VSECH_KNIHOVEN - neimportovat obě!
--** **MVS**
++** **{{html}}<span style="color: green;">Čtenáři:</span>{{/html}}**
++*** Vybrat CTENARI nebo CTENARI_DO_VSECH_KNIHOVEN - {{html}}<span style="color: red;">neimportovat obě!</span>{{/html}}
++** **{{html}}<span style="color: green;">MVS</span>{{/html}}**
  *** Lepší Vytvářet nové záznamy, aby nedocházelo k propojení rezervací na MVS.
--** **Záložka Výpůjčky**:
--*** Vybrat KPUJCKY nebo KPUJCKY_REKS - neimportovat obě!
++** **{{html}}<span style="color: green;">Záložka Výpůjčky</span>{{/html}}**:
++*** Vybrat KPUJCKY nebo KPUJCKY_REKS - {{html}}<span style="color: red;">neimportovat obě!</span>{{/html}}
  *** postupně po jednotlivých tabulkách importovat a v logu kontrolovat provedení.
  *** **Poplatky **- způsob uhrazení (poplatek.kartou)
  **** 0 - platba v hotovosti
@@ -226,13 +226,13 @@
  === Odstranění importovaných dat ===
--Pokud dojde během importu k problému s některou částí importu (kromě nastavení), tak ji lze smazat pomocí: [[Postup Odstranění importovaných dat>>url:https://confluence.tritius.cz/pages/viewpage.action?pageId=102925148]]
++Pokud dojde během importu k problému s některou částí importu (kromě nastavení), tak ji lze smazat pomocí: [[Postup Odstranění importovaných dat>>doc:.Postup-Odstraneni-importovanych-dat.WebHome]]
  == Nastavení po importu ==
--* **Před ukončením importního módu je třeba vytvořit zálohu databáze.**
--* **Ukončit import mód - až v momentě, kdy jsou všechna data správně převedená! **(u velkého serveru může zastavení trvat i půl hodiny)
--* Pokud se převáděla konfigurace výpůjčního protokolu je potřeba projít a opravit podmínky v následujících částek nastavení, jinak by spadla reindexace:
++* **{{html}}<span style="color: red;">Před ukončením importního módu je třeba vytvořit zálohu databáze.</span>{{/html}}**
++* **{{html}}<span style="color: red;">Ukončit import mód - až v momentě, kdy jsou všechna data správně převedená! **(u velkého serveru může zastavení trvat i půl hodiny)</span>{{/html}}**
++* Pokud se převáděla konfigurace výpůjčního protokolu je potřeba projít a opravit [[podmínky >>doc:uzivatelsky-manual.Pro-spravce.Priklady-podminek.WebHome]]v následujících částek nastavení, jinak by spadla reindexace:
  ** Kategorie operací
  ** Pravidla registrací
  ** Prohledávané oblasti
@@ -246,81 +246,11 @@
  * **Restart Tomcatu pomocí tools** (vyčistí se paměť po importu) !!!(((
  )))
--* **Provést nastavení podle checklist!!!!**
--* **Přečíst 2.1 Tipy a Triky na začátku stránky!**
++* **{{html}}<span style="color: red;">Provést nastavení podle checklist!!!!</span>{{/html}}**
++* **{{html}}<span style="color: red;">Přečíst 2.1 Tipy a Triky na začátku stránky!</span>{{/html}}**
  = Regulární výrazy pro opravy dat =
--Všechny nové regulární výrazy je třeba nejprve otestovat vývojářem - **ReplaceHelperTest**.
++Všechny nové regulární výrazy je třeba nejprve otestovat vývojářem - **ReplaceHelperTest**. - příklady viz poslední stránka:
--|(((
--== Autority ==
--
--|=Popis problému|=Regulární výraz|=Vstup|=Výstup|=(% colspan="1" %)Poznámka
--| Pole 100 obsahuje podpole 4.|
--
--{{{100\\ [\\ 0-9]{2}\\ \\$4.*}}}|
--
--{{{100 1  $4070}}}| |(% colspan="1" %)Celé pole se zahodí.
--
--| Obsahuje pole 1??|
--
--{{{(1\?\?\ )(.*,.*)§100 $2}}}
--
--{{{(1\?\?\ )(.*)§110 $2}}}|
--
--{{{1??  $aAudoly, Sylvie}}}|
--
--{{{100 $aAudoly, Sylvie}}}|(% colspan="1" %)Pokusí se rozpoznat zda se jedná o osobní jméno, nebo korporaci (pokud je osobní jméno, obsahuje hodnota čárku)
--
--|(% colspan="1" %)Pole 1XXa je prázdné|(% colspan="1" %)
--
--{{{^1??.*\\$a$}}}|
--
--{{{199  $a}}}|(% colspan="1" %) |Odstraní se celé opakování pole
--
--|(% colspan="1" %)Obsahuje pole 100 a 110|(% colspan="1" %)
--
--{{{^110.*}}}|
--
--{{{100 1 $aRoni, Luigi 110 2 $aRoni, Luigii}}}|
--
--{{{100 1 $aRoni, Luigi}}}|(% colspan="1" %)Odstraní opakování pole 110
--
--== Díla ==
--
--|=Popis problému|=Regulární výraz|=Vstup|=Výstup|=(% colspan="1" %)Poznámka
--|Odkazy na soubory v NAWEB obsahují před adresářem neplatné znaky.|
--
--{{{(X00[\ ]{4}.*\$[uo]).*(NAWEB.*)(\$.*)§$1$2$3 (X00[\ ]{4}.*\$[uo]).*(NAWEB.*)§$1$2}}}|
--
--{{{X00 $uW:\NAWEB\OBSAHY\N38492.pdf$tObsah$oNAWEB\2016_Knihy\N38492.jpg X00 $uW:\NAWEB\OBSAHY\N38492.pdf$tObsah$oW:\NAWEB\2016_Knihy\N38492.jpg X00 $uNAWEB\OBSAHY\N38492.pdf$tObsah$oW:\NAWEB\2016_Knihy\N38492.jpg X00 $oW:\NAWEB\OBSAHY\N38492.pdf$tObsah$uNAWEB\2016_Knihy\N38492.jpg X00 $oW:\NAWEB\OBSAHY\N38492.pdf$tObsah$uW:\NAWEB\2016_Knihy\N38492.jpg X00 $oNAWEB\OBSAHY\N38492.pdf$tObsah$uW:\NAWEB\2016_Knihy\N38492.jpg}}}|
--
--{{{X00 $uNAWEB\OBSAHY\N38492.pdf$tObsah$oNAWEB\2016_Knihy\N38492.jpg X00 $uNAWEB\OBSAHY\N38492.pdf$tObsah$oNAWEB\2016_Knihy\N38492.jpg X00 $uNAWEB\OBSAHY\N38492.pdf$tObsah$oNAWEB\2016_Knihy\N38492.jpg X00 $oNAWEB\OBSAHY\N38492.pdf$tObsah$uNAWEB\2016_Knihy\N38492.jpg X00 $oNAWEB\OBSAHY\N38492.pdf$tObsah$uNAWEB\2016_Knihy\N38492.jpg X00 $oNAWEB\OBSAHY\N38492.pdf$tObsah$uNAWEB\2016_Knihy\N38492.jpg}}}|(% colspan="1" %)Odstraní znaky co nepatří před NAWEB.
--
--|(% colspan="1" %)X00 odakzuje na adresář, který neexistuje z důvodu velikosti písmen na linuxu (velikost písmen se musí shodovat).|(% colspan="1" %)
--
--{{{(X00[\ ]{4}\$[ou]NAWEB[\\/])OBSAHY([\\/].*)§$1Obsahy$2}}}|
--
--{{{X00 $oNAWEB/OBSAHY/NC3404.pdf}}}|
--
--{{{X00 $oNAWEB/Obsahy/NC3404.pdf}}}|(% colspan="1" %)Změna velikosti písmen "OBSAHY" → "Obsahy". Regulární příkaz se musí dát až za regulární příkaz opravující validnost cesty.
--
--|(% colspan="1" %)Obsahuje pole ???.|(% colspan="1" %)
--
--{{{^\?\?\?.*}}}|
--
--{{{???  $aCzech Republic$eautomapa}}}|(% colspan="1" %) |Odstraní otazníkové pole.
--
--|(% colspan="1" %)1XX4 nebo 7XX4 obsahuje neexistující kód role|(% colspan="1" %)
--
--{{{(^[710]{3}.*)(\$4sut)(.*)§$1$3}}}|
--
--{{{100 1  $A1000239919$aLiker, Jeffrey K.$7xx0031426$4sut}}}|
--
--{{{100 1  $A1000239919$aLiker, Jeffrey K.$7xx0031426}}}|(% colspan="1" %)kód role z autority Neznámý kód role odstraní.
--
--
--)))
--
-- ~{~{/html}}~{~{/html}}
++[[attach:TP-109543491-280624-1107-24.pdf||target="_blank"]]

TP-109543491-280624-1107-24.pdf

Author

...	...	@@ -1,0 +1,1 @@
	1	+XWiki.simecek

Size

...	...	@@ -1,0 +1,1 @@
	1	+48.8 KB

Content

Changes for page Postup převodu dat z Clavia

Summary

Details

Interní

Applications

Navigation