Kemometri - et personligt syn Carsten Ridder, Lattec I/S dsk.2008.konference. torsdag.den.10.januar.2008. KVL, Tuesday 26/9-2006 KVL, Tuesday 2/10-2007

Find et skjult fænomen i dette billede! Det skjulte (eller latente) fænomen er “alder”

Folkeskolekarakterer m.v. for elever på en handelskole Find et skjult fænomen i dette “billede”! Med kemometri (eller latentik) omdanner vi tal til grafik ... ligesom musikere omdanner noder til musik

Kemometri er en filosofisk retning inden for (analytisk) kemi en måde at opfatte naturen på en måde at tænke på at tænke på fænomener i stedet for detaljer at finde og udnytte latente strukturer i ‘kaos’ at bruge latentik på kemiske data Latentik kunne defineres som: “Læren om det skjulte” “At uddrage skjulte fænomer fra det tilsyneladende kaos”

Det såkaldte geni – er blot den, der ser mønsteret i detaljernes forvirring lidt før gennemsnittet. Det såkaldte geni – er blot den, der ser mønsteret i detaljernes forvirring lidt før gennemsnittet. Fra ”Mind Map - til hverdag og fest”, www.dieu.dk Ved Konsulent Kirsten Andersen, underviser hos DIEU

Folkeskolekarakterer m.v. for elever på en handelskole Dumpet! Bestået!

dumpet/bestået er ikke inkluderet som en variabel Et skjult fænomen (i tabellen) er ‘Bestået’ (til venstre) og ‘Dumpet’ (til højre)

Matematisk Sproglig Lad os finde årsager … Disse variable er positivt korrelleret til ‘Bestået’ … gruppen kan opdeles i to fænomener

Matematisk Sproglig Sådan kunne tabellen altså oversættes til grafik

latentik ikke-selektive data ind information viden teori hypoteser Analysen genererer hypotesen, at man kan opdele eleverne i to hovedgrupper: de der har gode sproglige færdigheder og de der har gode matematiske færdigheder. information viden teori hypoteser

Nu til noget (måske ikke helt) andet …

Kan melodier klassificeres på baggrund af deres latente struktur? Jeg ved en lærkerede Solen er så rød, mor Mester Jakob Højt på en gren Oles nye autobil Mæ, si'r det lille lam Juletræet med sin pynt Tommelfinger, ... Nu lukker sig mit øje Den lille Ole Se den lille kattekilling

Anvendelse af latentik på melodier loadings spektrum Hvor meget scorer harmonierne i denne melodi? C anvendes i 44% af melodien G7 anvendes i 25% af melodien F/Dm anvendes i 19% af melodien

etc. Kan melodier klassificeres på baggrund af deres latente struktur? Mængde af principale harmonier Hvor meget scorer hver harmoni? C G7 F Dm Am Em . . . . Jeg ved en lærkerede Solen er så rød, mor Mester Jakob Højt på en gren Oles nye autobil Mæ, si'r det lille lam Juletræet med sin pynt Tommelfinger, ... Nu lukker sig mit øje Den lille Ole Se den lille kattekilling C G7 F Dm Am Em Hm7b5 D7 etc. De principale harmonier eller latente strukturer (loadings) ordnet efter vigtighed ("orthogonale" harmonier)

(mængde af PH1 vs. mængde af PH2 = 79% af variationen) C G7 F Dm Am Em ... Principale harmonier 1 2 3 4 5 6 Jeg ved en lærkerede (bog) 50 31 6 6 Jeg ved en lærkerede (CR) 44 65 39 63 70 56 46 31 50 67 81 75 37 34 25 20 36 29 16 28 21 6 26 13 11 8 4 15 5 7 23 9 Højt på en gren en krage Stork, stork langeben Mæ, bæ hvide lam Mæ, si'r det lille lam Se den lille kattekilling Den lille Ole Solen er så rød mor Jeg en gård jeg bygge vil Oles nye autobil Tommelfinger, tommelfinger Mester Jakob Nu lukker sig mit øje Juletræet med sin pynt mean 55% 24% 8% 4% 5% 0% cumulated mean 55% 79% 87% 91% 96% 96% Scores-plot (mængde af PH1 vs. mængde af PH2 = 79% af variationen) 50 Se den lille kattekilling 40 Stork, stork langeben Jeg ved en lærkerede (bog) 30 Nu lukker sig mit øje Den lille Ole Mæ, bæ hvide lam Mængde af G7 (24% af variationen) Juletræet med sin pynt Mæ, si'r det lille lam 20 Jeg ved en lærkerede (CR) mean Oles nye autobil Solen er så rød mor Jeg en gård jeg bygge vil Højt på en gren en krage 10 Tommelfinger, tommelfinger Mester Jakob 20 40 60 80 100 Mængde af C (55% af variationen) Hvor ville en tyrkisk eller kinesisk sang være i dette plot? (tilhører andre populationer => 'outlier')

Harmonier er latente (musikalske) strukturer i melodierne … ligesom partiprogrammer er latente (politiske) strukturer i samfundet … ligesom loadings er latente (kemiske) strukturer i NIR-spektre De latente strukturer er fælles for alle objekter (melodier, personer, spektre) Hvert objekt har forskellig score (eller præference) for de forskellige latente strukturer De latente strukturer har forskellig vigtighed: Musik: I C-dur er rækkefølgen (faldende vigtighed) harmonierne C, G, F/Dm, Am, … (kvintcirklen) Politik: Det største politiske parti (eller -isme), det næststørste politiske parti, osv. Kemometri: Den første principale komponent (PC), den anden principale komponent, osv. Dette er essensen af filosofien. Nu mangler vi kun at besvare ét spørgsmål ...

Musik HVOR MANGE harmonier skal vi bruge? (vuggestue eller jazz?) Politik HVOR MANGE partier i folketinget? (engelsk eller polsk parlament?) Kemi HVOR MANGE principale komponenter?

Validering … at finde den optimale kompleksitet

Rådata (fra en kemisk reaktion) Koncentration (M) Tid (sekunder) Rådata (fra komponisten)

For kompliceret – lad os prøve noget mere simpelt … Concentration (M) Time (seconds)

For simpelt – lad os prøve noget mere musikalsk … Concentration (M) Time (seconds)

lad os prøve uden melodien … Concentration (M) Time (seconds) lad os prøve uden melodien …

De optimale harmonier er latente (musikalske) strukturer i melodierne I musik finder man optimum ved at bruge sine ører I politik justerer man optimum ved at ændre på spærregrænsen I kemometri finder man optimum ved f.eks. at bruge krydsvalidering … pas på både under- og over-fit!

Tak for opmærksomheden! Opsummering af kemometrisk dataanalyse lyt til melodierne mål spektrene (sine mange variable) gå hen til klaveret gå hen til computeren find harmonierne beregn loadings (PCA-model) tæl harmonierne beregn scores nyd musikken … ! lav plots, generer hypoteser, udtræk information, bliv klogere … ! Tak for opmærksomheden!