DATAVASK HVAD DBC GØR VED POSTERNE PÅ VEJ NED I BRØND 3.5.

Præsentationer af emnet: "DATAVASK HVAD DBC GØR VED POSTERNE PÅ VEJ NED I BRØND 3.5."— Præsentationens transcript:

1 DATAVASK HVAD DBC GØR VED POSTERNE PÅ VEJ NED I BRØND 3.5

2 INDHOLD BRØND 3.5-FLOW-STRUKTUR I FORHOLD TIL BRØND 3.0 DE TRE FBS-INDLÆGGELSESFASER FORBEHANDLINGEN AF TOTALFILERNE LOKALE DDE-FELTER SKOLERNES ”TING OG SAGER” POSTER RAPPORTERNE FEJLTYPER OG HVAD DER ER VIGTIGST AT RETTE (I PRINCIPPET ALLE) AFRUNDING OG (KORT OM) CICERO-ADGANGEN

3 Brønd 3.0 - produktion POSTHUS Brønd 3.0 prod fedora (poster) Brønd 3.0 prod SolR- (indexer) UPDATE (validering) RåpostR epo Brønd 3.5 - produktion Efterbehandling Brønd 3.5 prod fedora Brønd 3.5 prod SolR CICERO Bibliotekets system fx DDElibra BASIS Biblioteket sender poster til DBC på alt hvad de har beholdninger på Opdaterede Basisposter sendes til brønd 1x dagligt I Brønden ligger Basisposten mens bibliotekernes indsendte poster omdannes til en lokaldatastrøm på Basisposten Basisposter sendes til Update ved hver ajourføring i Basis Holdings Item service Holdings item db FBS-bibliotekernes beholdninger, også i de tilfælde hvor de bruger Basisposten uden ændringer, sendes til DBCs holdingsbase FBS-bibliotekers lokalposter eller tilføjelser til Basisposter Biblioteker kan i søgesammenhæng få udleveret både de poster, de selv har sendt ind og dem, de kun har sendt beholdninger på Rummer Basisposter og Lokalposter samt bibliotekernes tilføjelser til Basisposter som Påhængsposter Totaler fra folke- og skole- biblioteker Forbe- handling

4 Totalfil med poster med beholdning trukket fra lokalkatalogen fbstest (fase 1, L0/L1, 1. rul) Forbehand- ling, tildeling af nyt testfaust- nummer Dannelse af rapporter Totalfil med poster med beholdning trukket fra lokalkatalogen Fbsstaging (fase 2, L2, 2. rul) Forbehand-ling, opsplitning, tildeling af nyt testfaust-nummer Dannelse af rapporter SLUT (posterne bruges ikke) RåpostRepo (påhængs- og lokalposter) Efterbehandling (inkl. sammenskrivning af h/b-poster) Brønd 3.5 staging (displaybrønd) Mulighed for flere fejlposter (sendes måske - separat ) Totalfil med poster med beholdning trukket fra lokalkatalogen Forbehand- ling, opsplitning, tildeling af nyt faust-nummer Fbsfinal (fase 3, L3, prod, 3. rul) Dannelse af rapporter RåpostRepo (påhængs- og lokalposter) Efterbehandling (inkl. sammenskrivning af h/b-poster) Brønd 3.5 produktion (displaybrønd) Mulighed for flere fejlposter (sendes IKKE)

5 FORBEHANDLINGEN AF TOTALFILERNE  Filerne sendes til DBC’s posthus sammen med en transfil – rammetjek af indpakningen  For hver post flyttes lokale bogstavfelter (fx C45) op i de officielle felter samt lidt andet  Hver posts faustnummer (001 *a) slås op i Basis (001 og 002 i 870970-poster)  Hvis posten findes, og 009 er det samme, sammenlignes opstillingsdata som et samlet sæt:  008, 009, 038, 039, 100, 110, 239, 245, 652, 654  Derudover sammenlignes og bevares disse felter, hvis de afviger:  032, 087, 088, 089, 090, 091, 092, 093, 094, 095, 300, 440, 504, 523, 526, 530, 531, 534, 538, 559, 565, 600, 610, 631, 652, 666, 700, 710, 745, 795, 840  Hvis opstillingsdata og de udvalgte felter er ens med 870970-posten, springes posten over  Hvis nogle af disse felter IKKE er ens, dannes en påhængspost kun med opstillingsdata/felter  Hvis posten IKKE findes, bevares den forbehandlede post men med nyt 9-cifret faustnummer  Alle påhængsposter og nye lokalposter valideres med det nye udseende (fejlrapport dannes)  Totalfilens ikke-fejlede faust- og idnumre og deres evt. nye faustnumre samles op i en rapport  Alle ikke-håndterede lokale DDE-bogstavfelter samles op i en rapport  For fase 2 og 3 lægges påhængsposter og lokalposter i RåpostRepo (tomme felter  )  Posterne høstes ud af RR til displaybrønden inkl. sammen-merged 870970- og/eller h-post  De mergede poster efterbehandles – især sammenskrivning af hoved-bindposter (004-fejl  )  Posterne indekseres og er klar til brug Normalt er det kun en lille del af posterne, der reelt ender som poster/lokalstrømme i Brønd 3.5

6 FORBEHANDLING AF LOKALE (DDE-) FELTER  Ingen lokalfelter overlever til displaybrønden og kun DBC-lokalfelter overlever i RR  I en forbehandling af totalerne før sammenligningen med DBC-posterne oversættes lokalfelterne først til officielle felter  Hvis felter eller delfelter kan gentages, gør vi det, ellers ”tolker” vi ud fra DDE-praksis:  a05 -> 005: gentagelige delf. hijkl, hvis oprindeligt 005 findes– ellers flyttes hele a05  a08 -> 008: dqx supplerer, og h medtages kun hvis 008h er tom  a09 -> 009: hvis a09a,g findes, så overskrives 009 - ellers suppleres undtagen i bind  a32 -> 032 ekstra felt  a38, a39 ->038, 039: felterne udskiftes med indholdet i lokalfelterne  b00, b10 -> 100, 110: undtagen for b00-indhold ÷, hvor oprindeligt 100 -> 700  c39, c45, c50, c60 -> 239, 245, 250, 260: udskiftes med indholdet i lokalfelterne  d00, f31-> 300, 531: udskiftes med indholdet i lokalfelterne  e40, f04, f23, f26, f30, f65 -> 440, 504, 523, 526, 530, 565: ekstra felter  g00, g10, g30, g31, g66, g68 -> 600, 610, 630, 631, 668: ekstra felter  g52 -> 652: hvis delfelt g52m/o flyttes oprindeligt 652m/o til 652p  g54 -> 654: hvis delfelt g54m flyttes oprindeligt 654m til 652p  h00, h10, h45, h70, h80, h95, i40 -> 700, 710, 745, 770, 780, 795, 840: ekstra felter

7 SKOLEBIBLIOTEKERNES ”TING OG SAGER” POSTER  Posterne vil ikke finde en DBC-post og behandles derfor som lokalposter  Alle lokalposter skal overholde danMARC2 YDERLIGERE VALIDERINGSKRAV:  Folkebibliotekernes fællesskabsposter skal derudover overholde DBC-praksis (fx forbudt 008 *t i hovedposter)

8 RAPPORTERNE  Kan altid ses på ftp://ftp.dbc.dk/fbsout/ (underkataloger report-fbs_test, _staging, _prod)ftp://ftp.dbc.dk/fbsout/  Brug firefox, da den er bedst til at sortere i rapporterne  Placering http://fbsudrulning.dk/wp-content/uploads/EXT0103-Drejebog-2C-Læsevejledning-DBC- indlæsningsrapport-version-1-7.pdfhttp://fbsudrulning.dk/wp-content/uploads/EXT0103-Drejebog-2C-Læsevejledning-DBC- indlæsningsrapport-version-1-7.pdf  Videreklik fra www.danbib.dk/FBS/Cicero FBS vejledninger -> Drejebøger/Drejebog 2C Poster der blev sprunget over (antal + hvilke id-numre)ignored_records.txt Poster der fejlede i valideringen (antal + hvilke (oprindelige) faustnumre)failed_validations.txt Poster der matchede BASIS-post så der ikke skal dannes hverken lokalpost eller påhængspost i Råpost-repositoriet (antal + faustnumre) basis_match.txt Poster der fik nyt faustnummer (antal + gamle og nye faustnumre)changed_faust_numbers.txt Oprettede påhængsposter (antal + faustnumre)new_supplement_records.txt Oprettede lokale poster (antal + gamle og nye faustnumre)local_records_created.txt En resumé-rapport med antal poster i de ovennævnte gruppersummary.txt En csv-fil med sammenhæng mellem gamle og nye faustnumre (ikke-fejlede poster uanset om nummeret er ændret eller ej) old_and_new_fausts.csv Samt: ddelibra_unhandled.txt log.mailcontent.txt log.summary.txt log.identifier.txt

9 FEJLTYPER OG HVAD DER ER VIGTIGST AT RETTE 005*h does not contain a valid value:6 008*a does not contain a valid value:52 008*d does not contain a valid value:4 008*v does not contain a valid value:2 021*a does not contain a valid ISBN-10:4 illegal field: 022 is present:2 illegal field: 249 is present.:2 illegal field: 990 is present.:6 illegal field: 991 is present.:6 illegal subfield & present in 032.:2 illegal subfield a present in 009.:3392 illegal subfield g present in 009.:3392 illegal subfield g present in 245.:30 illegal subfield w present in 710.:318 illegal subfield x present in 710.:318 illegal subfield z present in 690.:8 illegal subfield å present in 745.:21 nonrepeatable subfield 002*a is repeated.:2 nonrepeatable subfield 008*v is repeated.:2 nonrepeatable subfield 526*a is repeated.:26 Et lille udsnit af log.summary.txt

10 FEJLTYPER OG RETTELSER - FORTSAT  Ret alle fejl-poster allerede mellem fase 1 og fase 2  Overvej, om de lokale bogstavfelter stadig tjener et formål  Alle poster der fejler ved fase 3-indlægningen skal hentes via Cicero efterfølgende  Hvis faustnummeret ikke findes i csv-tabellen, tabes beholdningen og skal oprettes manuelt i Cicero  Vær meget opmærksom på følgefejl – bindposter fejler i efterbehandlingen, hvis hovedposten er afvist i valideringen  Tomme felter SKAL rettes efter fase 1, da de fejler et ”dumt” sted  Det er den behandlede post, der valideres – fx 2 x 245-felt kan skyldes et C45 i originalposten  Systematic kan datavaske mange af de store fejlklumper mod betaling – resten er op til jer

11 AFRUNDING OG CICERO Vi kan altid forsøge at give et svar på underlige resultater – men vi kan desværre ikke køre om for fase 2 og fase 3. Det skyldes primært faust-udskiftningen og dannelsen af påhængs- og lokalposter. Når poster og beholdninger er lagt ind, kan I søge dem via Cicero. Det kræver en Cicero-profil, som I opretter i VIP. Vejledningen kan ses her: http://www.danbib.dk/ under FBS og VIP-opsætning af FBS søgeprofil til Brønd 3.5 - Cicerohttp://www.danbib.dk/ VIP-opsætning af FBS søgeprofil til Brønd 3.5 - Cicero