Datamigreringsstrategi Engrosmodellen Et overblik over metode og proces Vers. 1.0 November 2013 DOK NR 13/100808-1

Migreringsstrategi Sikre at nuværende funktionalitet i Datahub forbliver uændret frem til 01.10.2014 Ingen ændringer til forretningsprocesser og beskeder frem til 01.10.2014 Ingen ændringer i roller og ejerskab før 01.10.2014 Support af EDIFACT indtil 01.10.2014 Længst mulig data migreringsperiode for netvirksomheder i separat setup Kortest mulig cut-over periode, med et minimum af system nedetid En samlet cut-over plan med beskrivelser af hvem gør hvad hvornår Hurtig og værdifuld feedback til netvirksomhed fra migreringsprocesser Oprettelse af data team til håndtering af migreringsplan, fejlhåndtering og teknisk hjælp Længst mulig data migreringsperiode for elleverandører i datahub drift Dedikeret projekt for sikring af, at in-flight processer migreres korrekt i cut-over fasen Plan for minimering af antal processer frem i tid op til cut-over DOK NR 13/100808-1

Datahub engrosdata, der skal migreres Blå = nye data strømme timeopløste tariffer og afgifter gebyrer & abonnementer Stamdata Netvirksomhed Abonnementer, tariffer og gebyrer Abonnementer og gebyrer 1-1 kunde relation Tariffer Tariffer og afgifter Elleverandør Kunde eller virksomhed Afgifter DOK NR 13/100808-1

Data kategorier der skal migreres Pris informationer - Prisliste Tilknytning af tariffer, abonnementer pr målepunkt Stamdata indikator for kunder med elvarme Andre stamdata Elleverandør stamdata Nye målepunkts stamdata De 3 første kategorier helt nødvendige for at elleverandøren kan fakturerer korrekt, men det er også vigtigt at pointere, at Datahub’en vil køre videre efter Go-live, selv hvis prisdata ikke er lagt ind. Kategori 4 ikke så vigtig som 1-3, da disse data kan lægges ind efter engrosmodellen er gået live. De første 3 kategorier skal være tilstede for at elleverandøren kan fakturere kunderne DOK NR 13/100808-1

Data og ansvar Migrering Marked (daglig drift) Data elementer Pre-migrering Post-migrering Migrering Marked (daglig drift) Data elementer Frem til 1/10/2014 Efter 1/10/2014 1. Pris informationer NV/ENDK 2. Tarif og abonnements tilknytninger NV 3. ENDK tarif og afgifts tilknytninger EL/DH auto 4. Elvarme indikator EL 5. Kontakt information 6. Nye NV stamdata detaljer på målepunkt (måler detaljer + effektgrænser) 7. Kunde informationer 8. Aflæsning pr 01-10-2014 00:00 (BRS-020) 9. Eksisterende data med ændret ejerskab EL 1) 10. Eksisterende data uden ændret ejerskab Der oprettes et migreringsspor for hver gruppe af data for at tage hånd om de variationer der er i data. Nogle af grupperne har reelt ingen ændringer, men de er medtaget, så alle data er repræsenteret. Cut-over 1) Hvis data ikke findes, skal elleverandøren requeste data via BRS-005 – (branchekode, mm.) DOK NR 13/100808-1

Data migreringsmængder Data elementer Forventet mængde Energinet.dkpreload Forventet aktør uploads 1. Pris informationer (prisliste) 3500 5 2. Tarif og abonnement tilknytninger 9.000.000 3. ENDK tariffer og afgifter 12.800.000 4. Elvarme indikator 3.200.000 180.000 5. Kontakt information 9.600.000 500.000 6. Nye NV stamdata detaljer på målepunkt (måler detaljer + effektgrænser) 7. Kunde informationer 8. Aflæsning pr 01-10-2014 00:00 (BRS-020) 3.000.000 9. Eksisterende data med ændret ejerskab 10. Eksisterende data uden ændret ejerskab Estimater som dækker selve migreringen, dvs. hvilke mængder forventes der at tilflyde Datahub systemet ifm. indførslen af Engrosmodellen. Visse data loades af Energinet.dk inden Datahub’en går i drift efter cut-over. De forventede aktør uploads kommer både via migreringsfiler og via B2B. Datamængderne i figuren er antal records- hver record indeholder flere felter DOK NR 13/100808-1

Successiv data migrering Initiel 2 upload 3 upload n upload Final NV Fuld dataset Fuld dataset Fuld dataset Fuld dataset Fuld dataset 01. okt 2014 Start Migrering Delta Efter final delta bliver data fixeret til system go-live Der arbejdes fra første og til sidste data upload med delta migrering. Selve migreringsdelta beregnes af migreringssystemet. Dette betyder at netvirksomheden altid sender et fuldt dataset (alle målepunkter i eget system) til migreringssystemet for filtype 1. For filtype 2 og 3 sendes der kun en positiv liste, dvs. målepunkter der har elvarme eller andre adresser end målepunktsadresse. Valget af delta migreringer skyldes et ønske om at mindske belastningen på det eksisterende Datahub produktionssystem. Datahub production DH DQ reporting DQ reporting DQ reporting DQ reporting DOK NR 13/100808-1

Migreringsdata fra netvirksomhed til Datahub Grid operator Timestamp # records CRC value Filename Filesize … Scheduling/Verification DH data team File metadata Staging Staging delta FTP File verification Staging loader Delta loader Data to message converter Visual spot check Failure Failure Message Layer - CIM ODS Failure Failure Netvirksomhed indsender migreringsfiler til Energinet.dk FTP server. Dette trigger en automatisk opstart af en verifikationsproces, samt flytning af filen til staging server. I denne proces udføres der diverse indledende checks for om filen er i korrekt format, størrelsen > 0 bytes og om CRC værdien er forskellig fra tidligere uploadede filer. Derefter loades migreringsfilen ind i staging databasen for den videre behandling. Under dette load udføres der yderligere check på felt syntax og type check. En operatør laver et visuelt stikprøve udtræk på 10 til 20 records og schedulerer hvornår delta beregningen skal gennemføres. Efter delta beregningen er gennemført, checkes fysisk delta og hvis denne godkendes, scheduleres Datahub load til produktionsdatabasen. Netvirksomheden modtager en slutrapport for migreringen og eventuelle målepunktsdata, der af en eller anden grund blev afvist under database load. CCR IS Change Success Failure / Rejected meteringpoints Datahub Production Migreringplan for data elementer nummer 2,3,4 og 5 Gældende fra 01.04.2014 og frem til 30.09.2014 DOK NR 13/100808-1

Fremsendelse af migreringsdata – trin for trin Energinet.dk sikrer og publicerer migreringsplan dækkende alle aktører Aktøren skaber komplet migreringsfil og sender den til energinet.dk via FTP FTP-serveren modtager migreringsfil fra aktøren Filen kontrolleres for åbenlyse fejl og metadata bliver registreret Filen importeres til migreringsdatabasen Energinet.dk udfører en visuel stikprøvekontrol før selve migreringen starter Systemet beregner delta mellem migrerede data og aktuelle produktionsdata Systemet genererer RSM beskeder ud fra de beregnede delta værdier RSM beskeder behandles ved at udføre de tilsvarende BRS’er Systemet undertrykker enhver udgående besked genereret af de berørte BRS’er Beskedsystemet rapporterer eventuelle fejl fra migreringsprocessen til aktøren Eventuelt afviste målepunkter sendes tilbage til aktøren DOK NR 13/100808-1

Migreringsdata fra Datahub til elleverandør Produktion BRS-005 BRS-034 BRS-038 B2B (normal operation) Elleverandør Elleverandør Elleverandør ODS Data Extraction FTP Elleverandør Elleverandør Efter Go-live (post migreringsperioden) vil de fleste elleverandører hente de nyoprettede engrosdata via B2B kanallen. For et udvalgt (foretages af Energinet.dk) antal elleverandører vil der være mulighed for at få data leveret per fil, i stedet for at skulle bruge B2B. Disse elleverandører sørger selv for den nødvendige teknologi til at kunne loade data ind i egne systemer. Formatet for de 3 mulige filtyper vil være identisk med formatet der blev brugt ifm. upload af migreringsdata. Muligheden for at udsende data via filer, er lavet pga. at store elleverandører med mange målepunkter ikke skal belaste Datahub systemet unødigt i cut-over og post migreringsperioden. Tarif/Abonnement links Elvarme indikator Kontakt data Distribute DH data team Elleverandører udvalgt af Energinet.dk Migreringplan for data elementer nummer 2,3,4 og 5 Gældende fra 01.10.2014 og frem til 31.10.2014 DOK NR 13/100808-1