PhiStore A Distributed and Policy Based Object Store.

Præsentationer af emnet: "PhiStore A Distributed and Policy Based Object Store."— Præsentationens transcript:

1 PhiStore A Distributed and Policy Based Object Store

2 Motivation Eksplosiv vækst i datamængder – Især media (billeder, musik & film) Dubletter? – 1 ZB (2010) → ~1.8 ZB (2011)* – Back up * = http://www.emc.com/digital_universehttp://www.emc.com/digital_universe

3 Motivation + Automatisk oprydning – Midlertidigt data Statusopdateringer Huskesedler … – Gammelt data Ønskesedler Invitationer Lovgivning

4 Eksisterende Løsninger Amazon: Dynamo – Key-value store Microsoft: Azure – Blobs, tabeller og køer Google: BigTable – Tabeller Apache: Cassandra – Tabeller

5 Motivation ++ Eksisterende systemer understøtter ikke – WAN – Kryptering

6 Overblik LAN WAN Clients External Storage Local Storage Removable Storage Server

7 Resultatet af 6 måneders arbejde 15.000 linier C# kode – En eksekverbar server – Et program-bibliotek med klient ++ – En eksekverbar med eksempler 93 sider dokument (og nu en præsentation)

8 Features Key-value store Lister med køfunktionalitet Skalerbar – Antal servicerende maskiner – Harddisk kapacitet Fejltolerant Komprimering

9 Features + C Create ListCreate R Read ListRead ListCount U Update ListUpdate ListAppend D Delete ListDelete Pop

10 Udfordringer WAN – Latens dræner performance 2PC Bully election (tilfældig random) Sikkerhed – Kommunikation (RSA + AES) – Krypteret objekt (AES) – Brugeradgang – Objekt deling/isolering

11 Udfordringer + Key generering Serialization Kompression – Deflate – vs. Kryptering Kommunikation – TCP/IP vs. XML-RPC vs. WCF

12 Udfordringer ++ Politik – Metodeafgrænsning (capabilities) Modify Delete Append Pop – Replikeringskrav – Skrald og gammelt data – Optimeringer FastReturn EnforceAtomicity

13 Prefetching Caching (Server) Tilføjelse til koordinators liste over kopier Prediction (Klient) Sekventiel læsning Prefetchable – baseret på politik FastReturn eller Pop, Delete, Modify

14 Performance Writing

15 Performance + Reading

16 Mangler RSA dekryptering er langsom – meget langsom Pop – Første element bliver slettet ved afbrydelse af forbindelse. – BOINC har lignende problem. Udveksling og koordinering af bruger- oplysninger Simultan replikering Genskabelse af tilstand ved nedbrud

17 Fremtiden Applikationsdreven udvikling – Distribueret filsystem, med P2P muligheder Mulighed for at kræve specifikke maskiner har kopi Mulighed for ’read-only’ Specialiserede FS operationer …

18 … 30 minutter senere Spørgsmål ?