Query optimization MICHAEL I Query optimization MICHAEL I. Schwartzbach Kristoffer just andersen Institut for datalogi

Collection Classes Matematiske strukturer som standard klasser i Java Basale mængder: int, String Set<S>: endelige delmængder af S: 2 Map<S,T>: endelige funktioner fra S til T: S T List<S>: endelige sekvenser af S: S* class C{S s,T t}: kartesisk ptodukt af S og T: S×T Alle sædvanelige operationer er tilgængelige S

Abstrakt vs konkret Abstrakte collection klasser har konkrete implementationer Map: HashMap, LinkedHashMap, … Set: HashSet, TreeSet, EnumSet, … List:; ArrayList, LinkedList, … Gør forskellige delmængder af operationer effektive

datastrukturer En datastruktur er: en sammensætning af matematiske strukturer en nøje udvalgt samling af operationer en specielt effektiv implementation Søgetræ: 2 , insert, member, delete, size Priotitetskø: 2 , insert, deletemin, empty Stak: S*, push, pop, empty Union-Find: 2 , singleton, union, find S S 2 S

prototyper Udstrakt brug af collection klasser kan give: hurtigt byggede implementationer ikke nødvendigvis særligt effektive Query databasen: tabel: (String String)* direktiv (query): 2 × (String (String ×String ×String)) String

Size matters Query: 300 linjer kode parser, fortolker, engine (select, project, join) RASMUS: 20,000 linjer kode MySQL; 1,800,000 linjer kode

optimering Databaser, fortolkere og compilere udfører kode men programmøren har næppe skrevet den bedste version… Derfor bruger de mange kræfter på optimering; laver en analyse af koden omskriver den til en mere effektiv version garanterer, at den giver samme resultat (sundhed)

Optimizere i praksis gcc –o3 bruger næsten al tiden på optimering mest lokale forbedringer og kortslutning af kontrolflow ikke nye algoritmer og datastrukturer giver typisk op til 50% forbedring af køretiden Effekten på databaser er vilkårligt stor forskellen på om queries overhovedet kører eller ej involverer automatisk valg af algoritmer og datastrukturer

Hvor gode er compilere? /* naive */ for (i = 0; i < N; i++) { a[i] = a[i] * 2000; a[i] = a[i] / 10000; } /* expert */ b = a; *b = *b * 2000; *b = *b / 10000; b++;

Bedre end dig! -o1 -o2 loop level sparc mips alpha naive 20.5 21.6 7.9 for (i = 0; i < N; i++) { a[i] = a[i] * 2000; a[i] = a[i] / 10000; } /* expert */ b = a; *b = *b * 2000; *b = *b / 10000; b++; loop level sparc mips alpha naive 20.5 21.6 7.9 -o1 8.8 12.3 3.3 -o2 11.2 3.0 expert 19.5 17.6 7.6 12.5 15.4 4.1 10.7 12.9 3.9

Query optimering En optimizer er aldrig helt optimal Man kan altid fange lidt flere specialtilfælde Masser af tommelfingerregler: project og select før join fjern søjler, der ikke bruges i svaret kopier select til begge sider af join …