Kvalitetsmålinger Borås 18.januar 2006

Folkebibliotekerne er præget af Faldende udlån af bøger og større gallring Ændringer i brugsmønstre: nye brugergrupper samt mindre intensivt brug af brugerne Mediedifferentiering og nye medier er dyrere end traditionelle Konkurrence fra søgemaskiner og boghandlere, elektroniske spørgetjenester Mange nye nettjenester, der kun anvendes i begrænset udstrækning

Folkebibliotekerne er præget af (2) Mange tjenester ingen har bedt om Velvillighed fra alle, En vis autopoisis eller selvfortolkning af egne opgaver og en social konstruktion af brugere og brugerbehov Generationsproblemer og kommunikation med unge Frafald af unge brugere Mindre kvalitet for den ”græssende” bruger?

Kvalitet: et multidimensionalt begreb Kvalitet som excellence Kvalitet som perfektion Kvalitet som ”fitness for purpose” (service kvalitet) Kvalitet som ”value for money” Return on investment, omkostninger etc.

Kvalitetsstyring Kvalitetsstyring (Quality Management) Kvalitetssikring Lever man op til standarder, der er fastsatte Kvalitetsforbedring Fokus på standarder, der skal overgåes Fokus på processer og kvalitets”drivers” f.eks. Personale, processer og tilsvarende.

Kvalitetsdimensioner Konformitet Forventning Marked Synsvinkel Intern Ekstern Peers og konkurrenter Nøglebegreb Service kvalitet Performance gaps Benchmarking Fokus Processer, funktioner og service Kunder- forventninger, tilfredshed og væsentlighed Ranking og ratioer God K. giver Tilfredshed Loyalitet reputation Lav K giver Fejl, omkostninger, forsinkelser og frafaldne Dårlig omtale. utilfredshed Dårlig reputation

Kvalitetsmålinger: Indikatorer Benyttelse af biblioteket (4) Brugernes aktiviteter (2) Forventninger og tilfredshed (4) Evaluering af bestanden (4) Evaluering af katalogen (2) Tilgængelighed og ventetider (4) Betjeningshastighed (3) Evaluering af referencearbejde (2) Personalet (2) Økonomiske indikatorer (5) I alt 32 indikatorer

Modeller vedr. organisatorisk effektivitet Hovedspørgsmål Goal (mål) Er målene opfyldt? Interessent Er interessenternes behov opfyldt? Ressource Er de tilstrækkelige ressourcer indhentet? Human Har vi og vil vi fortsat have gode medarbejdere? System Opretholde systemet og reagere på ændringer Beslutning Hvorledes træffes beslutning og hvordan evalueres de? Kunder Hvor tilfredse er de?

Kriterier for målsætningsemner er tidskrævende for personale og brugere kræver meget plads koster mange penge berører mange mennesker relateres til målsætningen er lette at definere, beskrive og afgrænse er lette at indsamle data om berører forhold, man kan og tør gøre noget ved

Måleforudsætninger Et klart teoretisk defineret begreb Begrebets dimensioner Begrebet skal kunne operationaliseres gennem en måleoperation Indikatorerne skal være konsistente og dækkende Et begreb skal normalt måles gennem flere indikatorer

Fysiske besøgende Virtuelle besøgende lånere Fjernbrugere Brugere Befolkning

Brugere Fjernbrugere Registrerede lånere Ikke registrerede brugere

Typer af mål Kapacitetsmål (inputmål som antal af…) Brugsmål (outputmål som hvor meget eller hvor mange…) Efficiensmål (omkostning pr enhed som input målt i forhold til brug, impact…..) Effektmål (hvad er virkningen af en service Effektivitetsmål eller outcome-mål (mål i forhold til mission og målsætninger…)

Målingers dimensioner Hvor meget Ressourcer og markedsandel Hvor mange Workload, brugsomfang, antal kunder Hvor godt Kundeforventninger og ”objektive mål” Hvor værdifuld Konsekvenser af brug Hvor tilfreds og loyal brugerinteraktion

Evaluering Er I princippet en del af strategisk planlægning Kan henføres til NPM Er orienteret mod marked, effektivisering og kunder Er en diskurs Har sjældent store effekter Baserer sig principielt på en model om rationalitet

Evalueringsspørgsmål Hvor meget og hvor mange hvor økonomisk hvor hurtigt og hvor nøjagtigt hvor forudseende hvor godt hvor værdifuldt og hvor troværdigt hvor høfligt hvor tilfreds

Evalueringers formål (dorte skot hansen) Ekstern /politisk Retro-spektiv Legitimering kontrol Strategi Pro-spektiv Kollektiv erindring Feed-back og læring Intern/organisatorisk

Servicekvalitet - baggrund Introduceret i 1988 22 parrede udsagn, der måler forventninger og oplevelser i forhold til væsentlighed 22 udsagn handler om 5 dimensioner som faktorvægte Udsagnene er fast strukturerede og kan ikke ændres fundamentalt (udviklet måleinstrument)

Balanced scorecard Finansielle mål Mission, strategi og mål Innovation og læring Kunder, brugere Internt perspektiv: Produkter og processer

BSC: De 4 perspektiver Kundernes syn på kvalitet og performance Læringsperspektivet Infrastruktur vedrørende mennesker, systemer og procedurer Kritiske processer, serviceportefølje og processer Bottom line, omkostninger, ressourceallokering etc.

BSC: Mål og perspektiver For hvert perspektiv Strategiske mål (Objectives) Indikatorer Target eller målbare formuleringer Samlet anbefales 20 – 25 indikatorer dækkende de 4 perspektiver

BSC: Kriterier for valg af strategiske mål eller objectives (SMART) Specifikke Målbare og kvantificerbare Achievable, altså opnåelige og realistiske i organisatorisk kontekst og i en ressourcesammenhæng Relevant, relaterer sig til overordnede mål og er vigtige for succes Timely, rettidige i forhold til for eksempel marked.

Eksempel: Måling af kompetence, interne og eksterne strukturer INTERNE STRUKTURER EKSTERNE STRUKTURER Antal år Uddannelsesniveau Uddannelsesomkostninger Udskiftninger Transaktioner pr støttepersonale Andel loyale kunder Andel professionelle Andel tid anvendt på projekter(fornyelse) Ansattes holdning og attitude tilfrdshedsindex Gennesnitsalder Udskiftning blandt professionelle Udskiftning støttepersonale Andel nyansatte Aldersfordeling kunder

Indikatorer Hvilke indikatorer skal/kan hver indsats have Indikatorer måler Effekter Aktiviteter Ressourcesammensætninger

Klassifikation Andel bibliotekarer af antal ansatte Andel materialeudgifter af budgettet Andel interurban indlån af udlån Andel fornyelser af udlån Andel PC – reserveringer af reserveringer Etc…

Mål indgår altså i en organisatorisk sammenhæng Missioner, visioner og værdi for kunden: Videnfortælling Ledelsesudfordringer Indsatser og indsatsområder Indikatorer Sammenhæng til strategisk ledelse

Videnfortælling Hvad er ydelsen eller servicen Hvad forskel gør ydelsen for kunden Hvilke ressourcer er nødvendige for at kunne levere ydelsen Sammenhæng mellem brugsværdi og ressourcer

Ledelsesudfordringer og indsatser Hvilke eksisterende ressourcer skal styrkes Hvilke nye ressourcer er der brug for Hvilke indsatser skal iværksættes Hvilke indsatser skal prioriteres

Generelle ledelsesudfordringer Rekruttering og fastholdelse af kompetencer Udvikling af processer Sammensætning af komptencer på tværs i virksomheden Synliggørelse Partnerskab Adgang til eksterne (viden)ressourcer

Mål og indikatorer i organisatorisk sammenhæng Organisatoriske problemer vedr. mål, midler eller indikatorer: MÅL Enighed Uenighed Indikatorer

Interessentvurdering af væsentlighed og kvalitet i servicer Meget vigtig Vigtigt indsatsområde Udviklingsområde Ikke vigtig Unødig ressourcebrug Problemfrit område Lav kvalitet Høj kvalitet

Problemer med måling af netværksydelser IT forandringer kræver hele tiden nye mål Mål og indikatorer har en begrænset levetid Økonomi til og viden om måling mangler Den komplekse omverden skaber mental paralysering og mistro til målingers anvendelighed

Evaluering af kompetence Organisatorisk niveau Bagud rettet Succeser og ”fejl” Strategier og ændringer Fremad Hvor var jeg før og hvad kan jeg nu? Personlig kompetence udvikling Individ - niveau

Dimensioner af informationskompetence Adfærdsændringer Søgeadfærd Analyseadfærd Kognitive ændringer Viden, færdigheder og holdninger Analytiske kompetencer Oplevelsesmæssige ændringer

Centrale spørgsmål Forbedres de studerendes performance gennem deres kontakt med biblioteket? Forbedres de studerendes chancer for succes gennem deres kontakt med biblioteket? Giver bibliotekets undervisning en højere grad af informationskompetence? Er lærerne gennem samarbejde med biblioteket mere tilbøjelige til at integrere ”biblioteksforhold” i undervisningen? Får studerende, der bruger biblioteket, et mere tilfredsstillende ”studieliv”?

Learning outcomes Hvad har de studerende behov for at lære? Hjælper biblioteket dem med det? Hvordan gør biblioteket det? Hvor godt gør biblioteket det? Hvorledes kan biblioteket forsætte med og forbedre indsatsen?

Dataindsamlingsmetoder Portfolio Højttænkingsprotokol Fokuserede samtaler Indholdsanalyse Tests opgavebedømmelse Fokusgruppe Programevaluering Exit interviews Ekstern bedømmelse Observationer Self-assessments Surveys

Konteksten for måling Omverdenskrav Institutionens strategiske mål Organisering af processer Kompetencer og kultur Informationskompetence Læringsmiljø: Værdier og normer Læringsmiljø: teknologi og ressourcer Kognitive ændringer Adfærdsmæssige ændringer Holdningsmæssige ændringer

Value for money (1) Kontingent værdisætning WTP: willingness to pay WTA: Willingness to accept Alternativers pris Investering i servicen (hvad koster det at bruge den)

Value for money 2 Forbedrer livskvalitet Øger personlig selvrealisering Øger læselyst Er en kilde til personlig gælde Øger lokale ejendomsværdier Medvirker til forretningssucces etc

Kundetilfredshed og servicekvalitet Servicekvalitet består af indhold og kontekst kontekst dækker oplevelsen det danner oplevelsen eller indtryk eller kundens virkelighed perception ændres af oplevelser

Gap - modeller Kundens forventninger og ledelsens opfattelse af disse forventninger Ledelsens opfattelse af kundens forventninger og service kvalitets standarder Standarder og faktisk service leverance Faktisk service leverance og kommunikationen til kunden Kundens forventninger til en service og oplevelsen af servicen

De 5 dimensioner Tanglible (Det fysiske sevicemiljø): Hvorledes lokaler, udstyr, materialer og personer fremtræder Reliability (Troværdighed): Evnen til at levere den lovede serviceydelse nøjagtigt og som lovet Responsiveness (Villighed): Villighed til at hjælpe kunderne og levere hurtig service Assurance (Forsikring eller sikkerhed): De ansattes kompetence, viden og høflighed og evne til at fremtræde troværdige Emphaty (Indlevelse): Den generelle og individuelle opmærksomhed virksomheden og dens ansatte giver kunderne.

Dimensionerne Dimensionerne er uafklarede, f.eks. tyder noget på, at emphaty and assurance er nogenlunde det samme: Forslag: Det fysiske miljø, service effektivitet samt servicens virkning. Loyalitet

Skalaen En asymmetrisk skala Fortolkninger af skalaen Forventninger er ikke statiske Forventninger Problemer med den aritmetiske differens

Modeludvikling Brugerundersøgelser Interesssentundersøgelser Servqual – modeller (standardiserede) Libqual (standardiseret model) ECSI (European Customer Satisfaction Index) Outcomes og Value-målinger er i sin vorden

Brugerundersøgelser anvendes til instrumentel beslutningsstøtte legitimation konceptualisering vidensophobning politisk ammunition Danmarks Biblioteksskole

Normale emner Brugernes tilfredshed med besøget Samlingens tilgængelighed og anvendelse Samlingernes totale benyttelse Dokumentleveringshastigheder Antal brugere Omfanget af ekstern anvendelse Anvendelse af faciliteter Bedømmelser af referencetjenesten Brugertilfredshed med referencetjenesten Kvaliteten af databasesøgninger

Nøglebegreber i undersøgelsen Brugernes: Udbytte Tilfredshed Forventninger Opfattelser Holdninger Adfærd

Bestandsudvikling som eksempel på forskellige evalueringsperspektiver Størrelse og sammensætning Brug – omfang og møsnstre Brug – indlån Brug – output og impact i forhold til målsætning Processer, ventetid, bestillingsprocedurer Tilfredshed og forventninger

Bestandsudviklingens elementer Foregår i forhold til Brugerne Materialerne Biblioteket Og består af Planlægning Implementation Evaluering

Bestandsudvikling inkluderer brugere informationsteknologi samlingsevaluering udviklingsplaner ressourceallokering Støtteprocesser og tekniske processer kassationsprincipper Ressourcedeling og samarbejde Personale og kvalifikationer

Kvalitet og samlinger Samlingsorienteret: størrelse, dækning, favner meget (universalbiblioteket) - ekspertvurderingen Orienteret mod standarder (Mønsterfortegnelsen, citationsanalyser) Bruger- og brugsorienteret (Bruger- og brugsadfærd)

Eksempel på bestand og brug Emne % af bestand % af udlån % af ILL % af præsens A 2 7 8 B 1 4 C 6 3 5 D

Hvis de skal virke Investering af bibliotek Involvering af personale Interne kommunikationsprocesser Intern kompetenceopbygning Ændringsprocesser Del af den strategiske ledelsesproces Skal anvendes til handlinger

Afslutning Bertrand Russell: Og tak for jeres opmærksomhed There is much pleasure to be gained from useless knowledge Og tak for jeres opmærksomhed