Data Warehousing Del 3 af 3:

Præsentationer af emnet: "Data Warehousing Del 3 af 3:"— Præsentationens transcript:

1 Data Warehousing Del 3 af 3:
Data Warehouse arkitekturer og implementering Aalborg Universitet, d. 8. februar 2007 B e n t M ø l l e r M a d s e n

2 Data Warehouse begreber
Enterprise Data Warehouse Data Mart Operational Data Store (ODS)

3 Enterprise Data Warehouse
Et data warehouse oprettet til at opbevarer alle virksomhedens data. Det kan tage mange år at opbygge et komplet Enterprise Data Warehouse. Start med en lille løsning og udbyg løbende. Mange datakilder Mange subjects eller forudsætningsfri omkring emner Ofte baseret på en normaliseret model

4 Data Mart En relativt lille data warehousing løsning
”Altid” baseret på en dimensionel model. Koncentrere sig om et enkelt eller få emner/subjects og/eller en enkelt afdeling Kort implementeringstid (måneder)

5 Data Mart Uafhængig data mart Afhængig data mart
Datakilder er OLTP-systemer Afhængig data mart Datakilden er en virksomheds (Enterprise) Data Warehouse

6 Operational Data Store (ODS)
Anvendt til at give adgang til data fra forskellige kilder meget hurtigt – fra få sekunder til enkelte timers forsinkelse Der foretages relativt få transformeringer Kan være datakilde til Data Warehouse

7 Forskellige arkitekturer
Rapportering direkte fra kilder Uafhængige Data Marts Centralt Data Warehouse Hub-and-spoke

8 Rapportering direkte fra kilder
Fordele: Hurtigt og billigt at implementere Ingen vedligeholdelse af redundante data Adgang til realtids data Adgang til alle operationelle data Ulemper: Kan være besværligt rent teknisk Kan være et sikkerhedsproblem Ikke muligt at ”berige” data Svært at sammenstille data på tværs af kilder Dårlige svartider på rapportkørsler Kan forstyrre driften af de operationelle systemer Manglende adgang til de historiske data

9 Uafhængige Data Marts Fordele ved arkitektur: Ulemper ved arkitektur
Hurtig implementering Omkostningseffektivt Hurtigt synligt udbytte Gentagelig proces Ulemper ved arkitektur ”Ø’er” af data Ingen helhedsbetragtning Ingen synergieffekter Udtræk fra kildesystemer Transformering og rensning af data Ufuldstændige metadata

10 Centralt Data Warehouse
Fordele ved arkitektur Centraliseret kontrol Helhedsbetragtning Konsistente metadata Dataintegritet Ulemper ved arkitektur Uoverskuelig model at trække beslutningsdata ud af Længere forespørgseltid Der tages måske ikke hensyn til individuelle behov Prioriteringsproblemer ved opbygning Svært at styre

11 Hub-and-spoke Fordele ved arkitektur Ulemper ved arkitektur
Centraliseret kontrol Helhedsbetragtning Konsistente metadata Dataintegritet Individuelle behov opfyldes i data marterne Ulemper ved arkitektur Omfattende løsning Ressourcekrævende

12 Bill Inmons ”Corporate Information Factory” arkitektur
Exploration Warehouse Data Mart Stjerneskema RDBMS / OLAP Slutbrugeradgang Kildedata Data Mining Rapporterings- værktøj Slutbruger- applikationer (Enterprise) Data Warehouse Emneorienteret Integreret Normaliseret Fuld historik RDBMS Ingen slutbrugere Operational Data Store Aktuelle data Lille/ingen forsinkelse OLAP Staging area Extraction, Trans- formation, Loading

13 Ralph Kimballs data warehouse arkitektur
Lager flade filer RDBMS Databehandling Rensning Integrering Strukturering Standardisering Conformed dimensions Ingen slutbruger- adgang Data mart #1 Slutbrugeradgang Stjerneskema Emneorienteret RDMBS / MOLAP Del af DW Bus Data mart #2 Kildedata OLAP Rapporterings- værktøj Slutbruger- applikationer Modeller, Forecast Fordeling, Data mining Kildesystemer Data Staging Area Data Warehouse Præsentationsservere DW Bus

14 Implementering af Data Warehouse

15 Implementering af Data Warehouse
Fastlæggelse af den problemstilling man søger at løse. Er data warehouse overhovedet en relevant Planlægge hvor mange ressourcer man vil afsætte til opgaven Opbygge viden internt i virksomheden/organisationen Hyre eksterne konsulenter til opgaven Valg af data warehouse arkitektur Bestemme om Data Warehouse skal implementere på en gang eller gennemgå en iterativ proces

16 Implementering af Data Warehouse
Logisk design af target med udgangspunkt i de behov der skal opfyldes. Skal data opsummeres i Data Warehouse eller beholdes på transaktionsplan? Fastlæggelse af dimensioner og fakta Foretag kildeanalyse og find ud af om der kan findes kilder til dække alle databehovene Kilder kan både være interne og eksterne Hvis behovene ikke dækkes vil man så reevaluere designet af target eller arbejde på at indarbejde de nye behov i OLTP-systemerne Er datakvaliteten i orden i kilderne

17 Implementering af Data Warehouse
Udarbejd ETL-processer til at overføre data fra kilder til data warehouse Hvordan skal data renses for fejl i kildedata. Hvordan skal data transformeres til analysebehov? Sammen med kildeanalysen er dette den væsentligste del af opgaven med at opbygge et data warehouse. Træk data ud fra data warehouse til præsentations- og analyseprogrammer. Udarbejd standardrapporter og gør det muligt for superbrugere selv at udvikle rapporter Hav en række testbrugere til at teste resultatet. Er rapporterne anvendelige Er data i rapporterne valide

18 Implementering af Data Warehouse
Automatiser ETL-processen, så den foregår på et tidspunkt, hvor det ikke vil genere almindelige brugeres anvendelse af kildesystemerne. Undervis brugere i anvendelse af rapporterings- og analyseværktøjer Evaluering af implementeringsprocessen Hvis en iterativ implementeringsproces er valgt, så fortsæt med næste område. Foretag løbende tilpasninger data warehouset og ETL-processen, hvis der sker ændringer i analysebehovet og/eller kildegrundlaget.

19 Andre begreber indenfor eller med relation til Data Warehousing/BI
Enterprise Application Integration (EAI) Enterprise Information Integration (EII) Realtime Data Warehousing Master Data Management (MDM) Customer Data Integration (CDI) Product Information Management (PIM) / Product Data Integration (PDI) Etc.

20 Litteratur Ralph Kimball et al. W. H. Inmon The Data Warehouse Toolkit
The Complete Guide to Dimensional Modeling The Data Warehouse Lifecycle Toolkit Expert Methods for Designing, Developing, and Deploying Data Warehouses The Data Warehouse ETL Toolkit Practical Techniques for Extracting, Cleaning, Conforming, and Delivering Data W. H. Inmon Building the Data Warehouse