Betragtninger om evaluering Konferencen ”Kvalitet og evaluering af vejledningen” København 30. september 2008 Professor Peter Dahler-Larsen, PhD Institut for Statskundskab Syddansk Universitet, Odense

Tre dele Indledende undren om nøgleord Kvalitetsperspektiver Nogle tidstypiske udviklingstræk i retning af kvalitetssystemer

Nogle nøgleord Kvalitetssikringssystem Udvikle kvaliteten Overblik over resultater og effekter En indikator for effekten af opsøgende vejledning Den unge starter på en ny uddannelse/tilfredsstillende aktivitet En vis ensartethed landet over Brugerundersøgelse: Udbytte af og tilfredshed med vejledningen... Lukkede spørgsmål...brugerdrevet videreudvikling

kvalitetsbegrebet Objektivt – subjektivt Stof – ide Ekstraordinært - normalt

Kvalitetsperspektiver Målbaseret Brugerorienteret Effekt Standard Organisatorisk system

Brugerorienteret Top down: tilfredshedsundersøgelse Bottom up: brugernes ønsker, forventninger og behov

Effekt i evalueringsteori Resultat er alt muligt, man kan ønske sig Effekt betegner et årsags-virkningsforhold

Tre aktuelle måder at gribe effekter på Sprogbrug om input, proces, output, outcome, effekt… Variansbaseret empirisk tilgang Procesbaseret empirisk tilgang

Refleksiv modernitet Bieffekter Kontingens Multiple perspektiver

Kvalitet i ”den refleksive modernitet” Brugerperspektiver Participatoriske processer Demokratisering Øget anvendelse Organisatorisk læring

Mulighed for kritik Uforudsigelig og personafhængig evaluering Inkompatible værdi-positioner, dvs. ingen sammenfatning Manglende kompleksitetsreduktion

Kvalitet i ”The Audit Society” Heldækkende, obligatorisk, kontinuert (suspendere ”evaluability assessment”) Vægt på ledelsesmæssig afrapportering og politisk risikohåndtering Evalueringsmaskiner: Veldefineret procedure Detaljeret overvågning pba dokumentation Resultater opdeles på udførende enheder Adskillelse af arbejde og evaluering Høj datakoncentration Evt: kontrol af kontrolsystemet

Diskussion Ressourcer til dokumentation Fokus på enheder, ikke virkemidler Mikrokvalitet, ikke makrokvalitet Degradering af arbejdet Konstitutive virkninger

De sikre De usikre De nærmest umulige

Kompetenceudvikling inden for evaluering Masteruddannelse i evaluering på Syddansk Universitet næste deadline 1. maj 2009 se

Læs bogen Peter Dahler-Larsen: Kvalitetens Beskaffenhed. Syddansk Universitetsforlag 2008.