Postup převodu dat z Clavia - Dokumentace Tritius

<p>Neměnit klíč v definici poplatků po testovacím převodu, nepovede se pak napojení poplatků při dalším importu - měnit až po posledním importu knihovny.</p>

18

<p>Neměnit zkratky v odděleních, nebude fungovat vazba výchozího oddělení čtenáře - měnit až po ostrém startu.</p>

19

</div>

20

21

function toggleContent(contentId) {

22

var content = document.getElementById(contentId);

23

if (content.style.display === "none") {

24

content.style.display = "block";

25

} else {

26

content.style.display = "none";

}

}

</script>

== Příprava převodu ==

33

34

* Zeptat se knihovny před převodem: [[Dotazy na knihovnu před převodem>>doc:.Dotazy-na-knihovnu-pred-prevodem.WebHome]]

35

* Zálohu rozbalovat přes **{{html}}<span style="color: red;">Total Commander </span>{{/html}}**- ne přes Windows průzkumníka!!!

36

37

1. **{{html}}<span style="color: green;">Aktualizovat Clavius</span>{{/html}}** na současnou verzi (Pomůcky → Update přes internet)

38

1. **{{html}}<span style="color: green;">Provést synchronizaci polí</span>{{/html}}** (Pomůcky → Editace polí → Sync → Aktualizovat)

39

1. **{{html}}<span style="color: green;">Provést kontrolu integrit dat </span>{{/html}}**(chyby opravovat !!! hlavně dogenerovat autority a smazat chybná pole)

40

1*. Katalogizace:

41

1**. **do integrit with .t.,.t. **( lze využít i příkazu **do tritius** , dělá to samé )

42

1***. vyzve ke sloučení slovníků C1 a C3 do C1 - dát ano

43

1**. **do OKindik with .T.**

44

1*. Výpůjčák

45

1**. Clex.exe → Systém → Provést Kontrolu integrity dat)

46

1. **{{html}}<span style="color: green;">pohled([select !s.scislo, s.pcislo, s.ucislo, #s.ckod from svazky s, (select ckod from svazky group by ckod having count(*)>1) s1 where s.ckod<>'' and s.ckod=s1.ckod order by s.ckod])</span>{{/html}}**

47

1*. duplicity čárových kódů svazků řešit ve foxíku tak že za čárový kód přídáte písmeno a,b,c ... kromě prvního výskytu čárového kódu

48

1. **{{html}}select isxn, count(*) as pocet from tituly group by isxn order by pocet desc{{/html}}**

49

1*. kontrola na duplicitu ISBN

50

51

== Vlastní export dat z Clavia - automaticky (verze Clavia od 28.2.2019) ==

52

53

* **{{html}}<span style="color: red;">Pokud se jedná o reksové centrum, musí export probíhat pod uživatelem Správce Reksu!!</span>{{/html}}** ( Systém - Servis dat - Výběr jiné knihovny - zaškrtnout Správce REKSu - OK )

54

* Při importu REKS knihovny = přečíst oddíl 2.5 ( možná úprava svazků v Claviu )

55

* ve foxíku spustit:

56

* **do FULLEXPORT**

57

** -vyzve ke kontrole OKAcisla - dát ano a lze jít spát, bude následně automaticky pokračovat export tagů

58

* TAG soubory se automaticky vygenerují do složky TXT ve složce Clavius

59

60

== Příprava CLAVIUS SQL ==

61

62

Pro převod dat akvizice, výpůjčního protokolu a další částí se používá přímý převod do Tritiia z SQL databáze Clavius.

63

Proto je nutné převést celý Clavius do SQL (lze využít SQL server pro Tritius), tento krok lze vynechat jen pokud se importuje pouze fond.

64

65

* postup vytvoření databáze clavius na SQL serveru a převodu dat Clavia pomocí **NASQL.EXE** viz: [[http:~~/~~/www.vkta.cz/LANius/diskety/sql/mssql.htm>>url:http://www.vkta.cz/LANius/diskety/sql/mssql.htm]] pro MSSQL

66

* není potřeba nic nastavovat pouze je potřeba SQL uživatel který má plná práva pro databázi clavius

67

68

== Importování knihovny pokud v cílovém Tritiu již je část svazků (např. Výměnné soubory) ==

69

70

V případě připojování dat je nutná existence čárového kódu v tabulce svazky u výměnných souborů, aby došlo ke správnému napárování:

<button onclick="toggleContent('content2')">Postup kontroly a příkazy pro vygenerování</button>

75

76

<p>Kontrola dat v Claviu, jestli obsahují vygenerovaný správně ckod, kdy 31840 - je prefix nadřízené knihovny:</p>

77

<br>

78

<p>browse for betw(val(pcislo),500000,599999) and !empt(ckod) and ckod<>'31840'</p>

79

<br>

80

<p>Pokud nic nevrátí, tak netřeba dělat! V opačném případě je potřeba předem dogenerovat do svazky.ckod čárový kód s prefiem nadřízené knihovny:</p>

81

<br>

82

<p>browse for betw(val(pcislo),500000,599999) and betw(len(allt(ckod)),0,8)</p>

83

<br>

84

<p>repl ckod with '31840'+padl(allt(pcislo),8,'0') for betw(val(pcislo),500000,599999) and betw(len(allt(ckod)),0,8)</p>

85

<p>repl ckod with '31840'+right(ckod,7) for betw(val(pcislo),500000,599999) and !empt(ckod) and ckod<>'31840'</p>

<br>

</div>

function toggleContent(contentId) {

90

var content = document.getElementById(contentId);

91

if (content.style.display === "none") {

92

content.style.display = "block";

93

} else {

94

content.style.display = "none";

}

}

</script>

Je nutné zkontrolovat u VS, aby svazky měli {{html}}<span style="color: red;">vyplněný</span>{{/html}} CKOD (viz výše) a poté {{html}}<span style="color: red;">PIDKN</span>{{/html}} obsahovalo znak {{html}}<span style="color: red;">˙</span>{{/html}} :

100

101

<button onclick="toggleContent('content2')">Postup kontroly a příkazy pro vygenerování</button>

102

103

<p>Kontrola:</p>

104

<p>pohled("SELECT * FROM svazky where ckod <> ' ' AND ckod not like 'prefixImportovaneREKSovky%' AND pidkn != '˙'")</p>

105

<p></p>

106

<p>Oprava:</p>

107

<p>pohled("UPDATE svazky SET pidkn = '˙' where ckod <> ' ' AND ckod not like 'prefixImportovaneREKSovky%' AND pidkn != '˙'")</p>

108

</div>

109

110

function toggleContent(contentId) {

111

var content = document.getElementById(contentId);

112

if (content.style.display === "none") {

113

content.style.display = "block";

114

} else {

115

content.style.display = "none";

}

}

</script>

//Rozdíly oproti bodu 2.6.2 Import dat~://

1. **Díla:**

*

** vybrat v roletce pro duplicity: Kontroluje duplicitu čárových kódů - duplicitní čárové kódy neimportuje a nepřidá je failed souboru

126

*** doporučuji použít až na druhý pokus a okem zkontrolovat, že jsou to opravdu duplicity s knihovnou, která už je na serveru

1. **Výpůjčky:**

*

** Vybrat KPUJCKY_REKS a neimportovat KPUJCKY!

132

133

== Import dat v Tritiu, pokud v cílovém Tritiu není část svazků (např. Výměnné soubory) ==

134

135

=== Založení knihovny v Tritiu ===

136

137

Je potřeba zaregistrovat novou knihovnu v Tritiu (Přihlášení do Tritia tlačítko Registrovat)

138

139

Při převádění REKSového Clavia nebo převádění knihovny, která má Carmen (Knihovna s REKSovkami - Clavius neobsahuje pouze jednu knihovnu) nedávat po registraci vytvořit webovou definici - vznikne naimportováním DEFWEB, kdy dojde k založení webové definice pro každou REKSovou knihovnu.

140

141

~!!!Pokud se jedná o sdílený server, kde již běží knihovny na ostro, tak provést zálohu databáze, kdyby se něco zvrtlo co nedokáže [[Postup Odstranění importovaných dat>>url:https://confluence.tritius.cz/pages/viewpage.action?pageId=102925148]] vyřešit a bylo potřeba provést obnovení!!!

142

143

~!!!Před zahájením zkontrolovat dostatek místa na disku VM!!!.

144

145

Kontrolu lze provést 2 způsoby:

146

147

1. přes putty pomocí příkazu df -h

148

1. v Zabixxu: Sledování → Obrazovky → VM Overview → Hostitel vybrat VM a podívat se na graf Disk space usage

=== Import dat ===

Import REKS: nezapomenout **zamknout** slovníky (především klíčová slova, popřípadě dodavatele)

153

154

**POZOR!!!!**: kontrola na existenci A podpolí v Tritiu, které zbyli od minulého importu, pokud ano tak smazat před importem!:

|

{{{select count(*) from authority_data where subfield_definition in (

159

select id from subfield_definition where name_sub='A')

160

161

select count(*) from work_data where subfield_definition in (

162

select id from subfield_definition where name_sub='A')

163

164

dále:

165

Po zapnutí Importovacího módu nesmí tabulka import_id_backup obsahovat jediný řádek, který má ve sloupci library ID právě převáděné knihovny, tedy select * from import_id_backup where library = ID_prave_prevadene_knihovny musí vrátit 0 . }}}

166

167

* Pokud importuji do knihovny s defaultně jiným jazykem (slovenské knihovny) musím před importem správně nastavit **SYSTEM_DEFAULT_LANGUAGE **tak i** LOCALE.**

168

* Pokud se nejedná o multiknihovní instanci, nastavit v položkách nastavení **MULTI_LIBRARY_INSTANCE** na false ( -304 ) - musí se provést před importem vzkazů čtenářů.

169

* V záložce **Systém** je volba **Import dat**

170

* Spustí se importní mód - běžní uživatelé se do knihovny v importním módu nemohou přihlásit

171

* //Doporučení - naimportovat dump databáze na VM s Tritiem pod uživatelem root (import je řádově rychlejší)//

172

* URL spojení databázi Clavius SQL kde jsou výpůjčky :

173

** Pro MySQL: **jdbc:mysql:~/~/server.lanius.cz:3306///<databaseName>//?useUnicode=true&characterEncoding=UTF-8&serverTimezone=Europe/Prague**

174

** Pro MSSQL: **jdbc:sqlserver:~/~/192.168.0.24:1433;databaseName=//<databaseName>//**;SendStringParametersAsUnicode=False;

175

* Zadáte uživatele a heslo pro připojení do databáze a tlačítkem **Připojit** provedete spojení (po úspěchu se tlačítko změní na **Odpojit**)

176

* **Start import mode**

177

* Postupně procházíme jednotlivé záložky zleva do prava. Vynecháváme ty které nejsou vždy (akvizice, webový katalog Carmen)

178

** **Záložka Definice** - vybrat postupně po jedné definiční tabulky a dejte **Importuj** vybrané tabulky (v případě opakovaného importu podruhé neprovádět !!!)

179

*** **Definici webů (DEFWEB)** importovat pouze pro REKSové knihovny (při převodu do sdílené knihovny je třeba založit ručně při registraci knihovny)

180

*** Pokud se nepodaří v případě knihovny, která má Carmen převést DEFWEB, tak stačí v Tritius založit ručně webovou definici a do import_id vyplnit ID, které se najde v databázi Clavia:

181

*** SELECT distinct defWebId FROM car_cloud;

182

183

*

184

** //Doporučení - Pokud se jedná o převod větší knihovny, tak po importu větších dat (autorit, díla, poplatky, čtenáři, výpůjčky, ...) dělat zálohu databáze//

185

** **Záložka Autority (u REKSovky zvážit neimportování!)**:

186

*** tlačítko Nahrát soubor nalistujeme **AUTORITY.TAG** a po jeho nahrání jej vybereme a dáme Importovat. Po importu jsou chybné, neimportované záznamy v souboru failed

187

** Pokud je soubor velký desítky MB a nejde nahrát zkuste přímou adresu např. : [[http:~~/~~/192.168.0.250:8080/Tritius/>>url:http://192.168.0.250:8080/Tritius/cz.effectiva.tritius.Application/Application.html#Import_wizard]] takto obejdete Apache web server

188

** **Záložka Díla a Svazky (u REKSovky zvážit ztitulování a neskládání autorit!):**

189

*** obsah složky **NAWEB** z Clavia (pokud existuje) - v průvodci importu dat je na záložce import děl tlačítko, které nahraje zabalenou složku (NAWEB.zip) do příslušné složky a rozbalí. (dříve - ručně nakopírovat do složky Tritia (\tritius\files\Clavius\WORK\NAWEB)

190

*** Pozor: zkontrolovat názvy souborů pokud obsahují mezery nebo znaky s diakritikou nedojde k propojení !!!

191

*** Typ importu duplicit - kontroluje duplicitu podle typu dokumentu a ISBN, popřípadě podle typu dokumentu, názvu, autora a roku (Zkontrolovat duplicity ISBN v TAGu)

192

*** Přes Nahrát soubor vybereme **DATA.TAG** a po jeho nahrání jej vybereme a dáme Importovat. Po importu jsou chybné, neimportované záznamy v souboru failed

193

*** Problémové záznamy v souboru failed, které se nenaimportovaly, je potřeba hned řešit tzn. **opravit a opakovaně importovat teprve pak se může pokračovat**!

194

** **Čtenáři:**

195

*** Vybrat CTENARI nebo CTENARI_DO_VSECH_KNIHOVEN - neimportovat obě!

196

** **MVS**

197

*** Lepší Vytvářet nové záznamy, aby nedocházelo k propojení rezervací na MVS.

198

** **Záložka Výpůjčky**:

199

*** Vybrat KPUJCKY nebo KPUJCKY_REKS - neimportovat obě!

200

*** postupně po jednotlivých tabulkách importovat a v logu kontrolovat provedení.

201

*** **Poplatky **- způsob uhrazení (poplatek.kartou)

202

**** 0 - platba v hotovosti

203

**** 1, 2, 3, 4 - platba kartou

204

**** 5, 6, 7 - platba na účet

205

**** 8, 9 - platba kreditem

206

* //Odstranit z VM databázi Clavia, pokud byla naimportována do VM.//

207

208

=== Odstranění importovaných dat ===

209

210

Pokud dojde během importu k problému s některou částí importu (kromě nastavení), tak ji lze smazat pomocí: [[Postup Odstranění importovaných dat>>url:https://confluence.tritius.cz/pages/viewpage.action?pageId=102925148]]

211

212

== Nastavení po importu ==

213

214

* **Před ukončením importního módu je třeba vytvořit zálohu databáze.**

215

* **Ukončit import mód - až v momentě, kdy jsou všechna data správně převedená! **(u velkého serveru může zastavení trvat i půl hodiny)

216

* Pokud se převáděla konfigurace výpůjčního protokolu je potřeba projít a opravit podmínky v následujících částek nastavení, jinak by spadla reindexace:

217

** Kategorie operací

218

** Pravidla registrací

219

** Prohledávané oblasti

220

** Definice webů - nastavit také výp. kategorii **Nezobrazovat na WWW** ((itemBorrowCategoryId IS NULL OR itemBorrowCategoryId <> 3)) - ID se liší podle převodu

221

* Na poslední záložce **Naplánované úlohy** spustit postupně od shora jednotlivé operace

222

** u malé knihovny nečekat na dokončení a lze pustit od shora najednou

223

** u velké knihovny pustit 1., 2., 3., počkat na dokončení a poté pustit 4. a po dokončení pustit 5. a po dokončení pustit 6.

224

225

== Závěrečné důležité operace ==

226

227

* **Restart Tomcatu pomocí tools** (vyčistí se paměť po importu) !!!(((

228

229

)))

230

* **Provést nastavení podle checklist!!!!**

231

* **Přečíst 2.1 Tipy a Triky na začátku stránky!**

232

233

= Regulární výrazy pro opravy dat =

234

235

Všechny nové regulární výrazy je třeba nejprve otestovat vývojářem - **ReplaceHelperTest**.

|(((

== Autority ==

| Pole 100 obsahuje podpole 4.|

242

243

{{{100\\ [\\ 0-9]{2}\\ \\$4.*}}}|

244

245

{{{100 1 $4070}}}| |(% colspan="1" %)Celé pole se zahodí.

| Obsahuje pole 1??|

{{{(1\?\?\ )(.*,.*)§100 $2}}}

250

251

{{{(1\?\?\ )(.*)§110 $2}}}|

252

253

{{{1?? $aAudoly, Sylvie}}}|

254

255

{{{100 $aAudoly, Sylvie}}}|(% colspan="1" %)Pokusí se rozpoznat zda se jedná o osobní jméno, nebo korporaci (pokud je osobní jméno, obsahuje hodnota čárku)

256

257

|(% colspan="1" %)Pole 1XXa je prázdné|(% colspan="1" %)

{{{^1??.*\\$a$}}}|

{{{199 $a}}}|(% colspan="1" %) |Odstraní se celé opakování pole

262

263

|(% colspan="1" %)Obsahuje pole 100 a 110|(% colspan="1" %)

{{{^110.*}}}|

{{{100 1 $aRoni, Luigi 110 2 $aRoni, Luigii}}}|

268

269

{{{100 1 $aRoni, Luigi}}}|(% colspan="1" %)Odstraní opakování pole 110

== Díla ==

|Odkazy na soubory v NAWEB obsahují před adresářem neplatné znaky.|

275

276

{{{(X00[\ ]{4}.*\$[uo]).*(NAWEB.*)(\$.*)§$1$2$3 (X00[\ ]{4}.*\$[uo]).*(NAWEB.*)§$1$2}}}|

277

278

{{{X00 $uW:\NAWEB\OBSAHY\N38492.pdf$tObsah$oNAWEB\2016_Knihy\N38492.jpg X00 $uW:\NAWEB\OBSAHY\N38492.pdf$tObsah$oW:\NAWEB\2016_Knihy\N38492.jpg X00 $uNAWEB\OBSAHY\N38492.pdf$tObsah$oW:\NAWEB\2016_Knihy\N38492.jpg X00 $oW:\NAWEB\OBSAHY\N38492.pdf$tObsah$uNAWEB\2016_Knihy\N38492.jpg X00 $oW:\NAWEB\OBSAHY\N38492.pdf$tObsah$uW:\NAWEB\2016_Knihy\N38492.jpg X00 $oNAWEB\OBSAHY\N38492.pdf$tObsah$uW:\NAWEB\2016_Knihy\N38492.jpg}}}|

279

280

{{{X00 $uNAWEB\OBSAHY\N38492.pdf$tObsah$oNAWEB\2016_Knihy\N38492.jpg X00 $uNAWEB\OBSAHY\N38492.pdf$tObsah$oNAWEB\2016_Knihy\N38492.jpg X00 $uNAWEB\OBSAHY\N38492.pdf$tObsah$oNAWEB\2016_Knihy\N38492.jpg X00 $oNAWEB\OBSAHY\N38492.pdf$tObsah$uNAWEB\2016_Knihy\N38492.jpg X00 $oNAWEB\OBSAHY\N38492.pdf$tObsah$uNAWEB\2016_Knihy\N38492.jpg X00 $oNAWEB\OBSAHY\N38492.pdf$tObsah$uNAWEB\2016_Knihy\N38492.jpg}}}|(% colspan="1" %)Odstraní znaky co nepatří před NAWEB.

281

282

|(% colspan="1" %)X00 odakzuje na adresář, který neexistuje z důvodu velikosti písmen na linuxu (velikost písmen se musí shodovat).|(% colspan="1" %)

283

284

{{{(X00[\ ]{4}\$[ou]NAWEB[\\/])OBSAHY([\\/].*)§$1Obsahy$2}}}|

285

286

{{{X00 $oNAWEB/OBSAHY/NC3404.pdf}}}|

287

288

{{{X00 $oNAWEB/Obsahy/NC3404.pdf}}}|(% colspan="1" %)Změna velikosti písmen "OBSAHY" → "Obsahy". Regulární příkaz se musí dát až za regulární příkaz opravující validnost cesty.

289

290

|(% colspan="1" %)Obsahuje pole ???.|(% colspan="1" %)

{{{^\?\?\?.*}}}|

{{{??? $aCzech Republic$eautomapa}}}|(% colspan="1" %) |Odstraní otazníkové pole.

295

296

|(% colspan="1" %)1XX4 nebo 7XX4 obsahuje neexistující kód role|(% colspan="1" %)