Kvalitetens Beskaffenhed Nyborg 3. November 2009 Professor Peter Dahler-Larsen, PhD Institut for Statskundskab Syddansk Universitet, Odense
Nogle spørgsmål Hvordan måler man kvalitet? Hvordan kan vi bruge de påtvungne evalueringer positivt? Hvordan kan vi evaluere uden at det bliver for meget? Hvad bruger politikere og embedsmænd evalueringerne til?
Tre dele Argumenter om ”blødt område” Kvalitet og kvalitetsperspektiver Tendenser i tiden
”Blødt” område? Vurdering skal ske ud fra værdier, ikke effekter Årsags-virkningsforhold findes ikke Årsags-virkningsforhold er komplekse Manglende beskrivelse af indsats Manglende vidensfundament Alle indsatser er individuelle Mennesker reagerer forskelligt på en indsats Indsatser virker forskelligt i forskellig kontekst Mennesker vurderer den samme ting forskelligt
Tre dele Argumenter om ”blødt område” Kvalitet og kvalitetsperspektiver Tendenser i tiden
kvalitetsbegrebet Objektivt – subjektivt Stof – ide Ekstraordinært - normalt
Kvalitetsperspektiver Målbaseret Brugerorienteret Effekt Standard Organisatorisk system
Målbaseret evaluering Omkostninger og bieffekter? Kun operationelle mål? Kun eksogene mål?
Kvalitetsperspektiver Målbaseret Brugerorienteret Effekt Standard Organisatorisk system
Brugerorienteret evaluering Inkonsistente brugere Uenige brugere Overser brugerens eget ansvar Ikke samfundsmæssige hensyn
Kvalitetsperspektiver Målbaseret Brugerorienteret Effekt Standard Organisatorisk system
Effekt i evalueringsteori Resultat er alt muligt, man kan ønske sig Effekt betegner et årsags-virkningsforhold
Tre aktuelle måder at gribe effekter på Sprogbrug om input, proces, output, outcome, effekt… Variansbaseret empirisk tilgang Procesbaseret empirisk tilgang
Undervisningsministeriets sprogbrug ”Gennemførelses- og frafaldsfrekvenser er en indikator for effekten af gennemførelsesvejledningen” (notat vedr. opstilling af landsdækkende indikatorer) ”Overgangsfrekvenser er en indikator for effekten af uddannelses- og erhvervsvejledningen” (ditto notat) ”Overgangsfrekvenser belyser effekten af vejledningen…. Det er imidlertid for tidligt at vurdere indsatsen på baggrund af disse data” (Tilsynsberetning 2007: 26)
NB Outcome er relativt til system Outcome kan døbes Ændring i outcome er ikke lig program-effekt Styringsmæssige implikationer
Tre aktuelle måder at gribe effekter på Sprogbrug om input, proces, output, outcome, effekt… Variansbaseret empirisk tilgang Procesbaseret empirisk tilgang
Kvalitetsperspektiver Målbaseret Brugerorienteret Effekt Standard Organisatorisk system
Tre dele Argumenter om ”blødt område” Kvalitet og kvalitetsperspektiver Tendenser i tiden
Refleksiv modernitet Bieffekter Kontingens Multiple perspektiver
Kvalitet i ”The Audit Society” Heldækkende, obligatorisk, kontinuert (suspendere ”evaluability assessment”) Vægt på ledelsesmæssig afrapportering og politisk risikohåndtering Evalueringsmaskiner: Veldefineret procedure Detaljeret overvågning pba dokumentation Resultater opdeles på udførende enheder Adskillelse af arbejde og evaluering Høj datakoncentration Evt: kontrol af kontrolsystemet
Diskussion Ressourcer til dokumentation Fokus på enheder, ikke virkemidler Overstyring i ansvarsplaceringen Mikrokvalitet, ikke makrokvalitet Degradering af arbejdet Konstitutive virkninger
De sikre De usikre De nærmest umulige
Husk evaluability assessment Hvor klart er indsatsen beskrevet? Er målene klare? Er indsatsen godt implementeret? Er der klare forestillinger om, hvorfor indsatsen skulle virke? Er gode data inden for rækkevidde? Hvem er klar til at tage en konkret beslutning pba af disse data?
Læs bogen Peter Dahler-Larsen: Kvalitetens Beskaffenhed. Syddansk Universitetsforlag 2008.
Kompetenceudvikling inden for evaluering Masteruddannelse i evaluering på Syddansk Universitet næste deadline 1. maj 2011 se www.efteruddannelse.sdu.dk