här - Institutet för Kvalitetsutveckling, SIQ

siq.se

här - Institutet för Kvalitetsutveckling, SIQ

Introduktionsutbildning -

Utvärderingsprocessen

UTVÄRDERINGSPROCESSEN

4

Utvärdering av deltagande organisationer

SIQ tillsätter ett examinatorsteam till varje

deltagande organisation

• En av deltagarna utses till utvärderingsledare

• Utvärderingen består av tre steg

– Individuell utvärdering

– Konsensusmöte med teamet utvärdering

– ev Platsbesök

© SIQ - Institutet för Kvalitetsutveckling 1


Introduktionsutbildning -

Utvärderingsprocessen

Återföringsrapport – slutprodukten till

vår kund

• Återföringsrapporten skrivs av examinatorsteamet med

utvärderingsledaren som ansvarig.

• Återföringsrapporten är en av de viktigaste delarna i

utvärderingsprocessen - den ger deltagande

organisationer ett kvitto på sin nivå och ett underlag för

strategiskt utvecklingsarbete.

Utvärdering av deltagande organisationer

• Examinatorerna formulerar organisationens styrkor och

förbättringsområden.

• Med hjälp av Utvärderingsmatrisen bedömer

examinatorerna hur väl verksamheten uppfyller varje

delkriterium.

• Matrisen ger med hjälp av ledord möjlighet att hitta en

procentuell nivå som motsvarar vad organisationen

beskrivit i utvärderingsunderlaget.

© SIQ - Institutet för Kvalitetsutveckling 2


Introduktionsutbildning -

Utvärderingsprocessen

UTVÄRDERINGSUNDERLAGET

Ett självporträtt

Utvärderingsunderlag i utmärkelseprocessen

Utmärkelsen Svensk Kvalitet > 200 medarbetare

• Översikt

• Verksamhetsbeskrivning

• Senaste årsredovisningen (eller motsvarande)

…eller

Utmärkelsen Svensk Kvalitet < 200 och

Utmärkelsen Bättre Skola

• Översikt

• LedningensAnalys

• inSIQt

• Senaste årsredovisningen (eller motsvarande)

© SIQ - Institutet för Kvalitetsutveckling 3


Introduktionsutbildning -

Utvärderingsprocessen

Utvärderingsprocessen i stort

Utvärderingsunderlag

skickas till

examinatorerna

Individuell

utvärdering

Individuella

förberedelser inför

Konsensusmöte

Konsensusmöte

Domarkommittémöte

1

ev Platsbesök

Återföringsrapport

Domarkommitté

möte 2

Ev. återföringsmöte

Ceremoni för

mottagare &

Konferens

Stegen i individuell utvärdering

Individuell

utvärdering

Studera Grundläggande

värderingar, Kriterierna i SIQs

Modell och

Utvärderingsmatrisen

Läs igenom

Översikten och

Utvärderingsunderlaget

Studera Översikten,

Notera Viktiga

Verksamhetsfaktorer

Studera

Utvärderingsunderlaget

Formulera

utvärderingskommetarer

i

ExaWeb

Bestäm nivå

enligt

Utvärderingsmatrisen

Klarmarkera dig

i ExaWeb

© SIQ - Institutet för Kvalitetsutveckling 4


Introduktionsutbildning -

Utvärderingsprocessen

Studera SIQs Modell

• Läs och begrunda

– Grundläggande värderingar

– Värderingarna kännetecknar kulturen i

framgångsrika organisationer

– Kriterierna / målbilderna i inSIQt

– Försök att tänka dig vad som skulle kunna vara ett

svar

– Reflektera över det som står i ”Observera”-rutorna

– Reflektera över poängsättningen per kriterium och

delkriterium

– Utvärderingsmatrisen

– Reflektera över matrisens två delar för angreppssätt

respektive resultat

– Sju kvalitetsnivåer

– Reflektera över nivåerna som speglar

organisationers utvecklingsnivå

Deltagande organisations

Utvärderingsunderlag

Översikt och Verksamhetsbeskrivning*

respektive Ledningens Analys & inSIQt

• Läs igenom för att bekanta dig med organisationen

• Lås dig inte vid ditt första intryck av organisationens

utvecklingsnivå

• Tänk på att detta vanligtvis tar minst en halvdag

*) Ibland i separata dokument och ibland sammanbundet

© SIQ - Institutet för Kvalitetsutveckling 5


Introduktionsutbildning -

Utvärderingsprocessen

Översikten visar Viktiga verksamhetsfaktorer

• Studera Översikten noga

– Notera i punktform faktorer/förhållanden som bäst kännetecknar

organisationen och som är viktiga för den verksamhet man bedriver och

den situation man är i.

• Notera punkterna på ett ark som ett underlag för fortsatt arbete.

• Ett bra sätt att göra det kan vara på blanketten ”Viktiga

Verksamhetsfaktorer”

Med Viktiga verksamhetsfaktorer, VVF menas viktiga fakta om verksamheten,

kunderna, marknaden, leverantörerna, produkterna, processerna osv. och som

organisationen själv framhåller i framför allt Översikten.

Viktiga verksamhetsfaktorer är egenskaper eller kännetecken hos organisationen eller

dess omgivning som underlättar för examinatorn att värdera organisationens

verksamhet. Det inkluderar sådant som ibland kallas ”kritiska framgångsfaktorer”.

Översikten

Allmän del

• Verksamhetsidé

• Varor och tjänster

• Kunder/kundgrupper och deras behov,

krav, önskemål och förväntningar

• Marknader och distributionskanaler

• Konkurrenssituation och egen

marknadsposition

• Verksamhetens processtruktur

• Organisations- och ledningsstruktur

• Medarbetare (antal, kategorier,

utbildningsnivåer)

• Anläggningar och deras ändamål

• Leverantörer och partners

• Ägarförhållanden och ägarkrav

• Lagar och förordningar av speciell

betydelse

Strategisk del

• Vision

• Värderingar

• Styrkor, svagheter, hot och möjligheter

• Kritiska framgångsfaktorer (avgörande

förutsättningar för förverkligande av de

viktigaste strategiska målen)

• Strategier och övergripande planer för den

långsiktiga utvecklingen

• Mål och handlingsplaner på kort sikt i

sammanfattning

© SIQ - Institutet för Kvalitetsutveckling 6


Introduktionsutbildning -

Utvärderingsprocessen

Viktiga Verksamhetsfaktorer - VVF

Övriga Viktiga

Verksamhetsfaktorer

Verksamhetsidé, visioner, värderingar

Mål

Viktiga ”inputs”

Viktiga leverantörer

Viktiga intressenter

Framgångsfaktorer

Vad utförs i organisationen?

Vilka är processerna?

Viktiga varor och

tjänster

Viktiga kunder

Viktiga konkurrenter

Hot och möjligheter

Externa verksamhetsvillkor

Studera Utvärderingsunderlaget

Med

angreppssätt

avses HUR

någonting

utförs.

Med

tillämpning

menas i vilken

omfattning

man gör som

man säger.

Läs mer i Modellhäftet

sid 4, 7 och 14

• Påbörja din analys genom att läsa en gång till

• Jämför avsnitt för avsnitt med vad som efterfrågas

• Identifiera angreppssätt och tillämpning samt resultat där det

efterfrågas t.ex. med överstrykningspennor i olika färger

• Notera kopplingar till Viktiga Verksamhetsfaktorer och mellan

delkriterierna

• Markera styrkor och förbättringsområden i marginalen t ex med

+ och - tecken; se nästa fyra bilder

• Se upp med att/vad/vem-redovisningar istället för tydliga hurredovisningar

• Notera områden/frågor för eventuellt Platsbesök

Läs också i Handledning för Examinatorer

© SIQ - Institutet för Kvalitetsutveckling 7


Introduktionsutbildning -

Utvärderingsprocessen

Styrkor - angreppssätt

• Kännetecknande för en Styrka hos angreppssätt kan

vara:

– Systematiskt, dvs medvetet valt, genomarbetat, metodiskt,

organiserat sätt att angripa det som efterfrågas

– Genomsyras av de Grundläggande värderingarna

– Koppling finns till Viktiga Verksamhetsfaktorer och andra

valda angreppssätt

– Att det finns en medveten utvärdering och förbättring av

angreppssättet.

• En styrka är också när det framgår att de valda

angreppssätten tillämpas i relevanta sammanhang

Förbättringsområden –

angreppssätt

• Kännetecknande för förbättringsområden avseende

angreppssätt kan vara:

– I kriterierna efterfrågade beskrivningar/redovisningar saknas

– Att det saknas systematik

– Genomsyras inte av de Grundläggande värderingarna

– Angreppssätt med koppling till Viktiga Verksamhetsfaktorer

saknas

– Att det saknas en medveten utvärdering och förbättring av

angreppssättet.

• Förbättringsområden är också när det framgår att de

valda angreppssätten inte tillämpas i relevanta

sammanhang.

© SIQ - Institutet för Kvalitetsutveckling 8


Introduktionsutbildning -

Utvärderingsprocessen

Styrkor - resultat

• Kännetecknande för en Styrka angående resultat

kan vara att resultatet:

– Visar positiva trender

– Visar goda nivåer i förhållande till relevanta mål

– Jämförs med ledande organisationer och konkurrenter

– Är härledbart till valda angreppssätt

– Är hänförbart till verksamhetens strategier, mål och

framgångsfaktorer

– Omfattar relevanta områden.

• Att organisationen uppnår sina egna satta mål, eller

inte, är inte självklart en grund för varken + eller -

kommentarer.

Förbättringsområden - resultat

• Kännetecknande för ett förbättringsområde angående resultat kan vara

att resultatet:

– Jämförs inte med ledande organisationer och konkurrenter

– Inte är kopplat till valda angreppssätt

– Inte är hänförbart till verksamhetens strategier, mål och

framgångsfaktorer.

– Saknar positiva trender

– Inte når relevanta mål

– Oklart hur mål har valts

– Saknar mål

• Förbättringsområde kan också vara att redovisning av resultat saknas

från mätningar som nämns på andra ställen eller från områden som

anges som viktiga på andra ställen i beskrivningen.

© SIQ - Institutet för Kvalitetsutveckling 9


Introduktionsutbildning -

Utvärderingsprocessen

Skriva kommentarer

• Arbeta med ett delkriterium i sänder

• Du kan redan från början använda ExaWeb

• Notera Viktiga Verksamhetsfaktorer - VVF - som berör aktuellt

delkriterium

• Läs aktuellt delkriterium för att förstå vad som efterfrågas.

• Läs utvärderingsunderlagets motsvarande avsnitt

• Formulera kommentarerna som styrkor (+) och

förbättringsområden (-).

• Använd ”+” eller ”-” för att markera styrkor eller

förbättringsområden.

• Använd ”++” eller ”- -” för att markera styrkor och

förbättringsområden som är av avgörande betydelse.

Läs också i Handledning för Examinatorer

Att formulera kommentarer

• Skriv tydliga och fullständiga meningar

• Hämta språk, terminologi och argument från

– Grundläggande värderingar

– Kriterierna

– Viktiga Verksamhetsfaktorer

– Utvärderingsmatris

– Kopplingar mellan kriterierna

• Var icke-föreskrivande

• Använd inte blandade kommentarer (+/-)

© SIQ - Institutet för Kvalitetsutveckling 10


Introduktionsutbildning -

Utvärderingsprocessen

Argument i kommentarerna

Kriterierna

Utvärderingsmatrisen

Viktiga

Verksamhetsfaktorer

Grundläggande

värderingarna

”Kopplingarna”

– röda trådarna

Bestäm nivå enligt

Utvärderingsmatrisen

• Procentbedömning

– Angreppssätt

– Tillämpning

– Utvärdering och förbättring

– Relevans/omfattning

– Prestation

• Reflektera - motsvarar den slutliga nivån fördelningen av,

och vikten hos, styrkor och förbättringsområden?

• Vid den individuella utvärderingen används bara hela 10 %-

steg!

Läs också i Handledning för Examinatorer

© SIQ - Institutet för Kvalitetsutveckling 11


Introduktionsutbildning -

Utvärderingsprocessen

Utvärderingsmatrisen

• Bedömning av angreppssätt

– Angreppssätt

– Systematik

– Integration

– Tillämning

– Var

– När

– Utvärdering och förbättring

– Uppföljning

– Lärande och förbättringsarbete

• Bedömning av resultat

– Relevans/omfattning

– Prestation

– Härledbarhet

– Nivåer

– Trender

Systematiken kopplat till Matrisen

0% 100%

Angreppssätt

Hur gör ni för att…

saknas

Heltäckande

systematiska och

fullständigt

integrerade

Tillämpning

I vilken omfattning gör ni det?

Ej tillämpat

Inom alla relevanta

områden, vid alla

relevanta tillfällen

Resultat

Vilket resultat leder det till?

Ej redovisade

Relevanta mått

Härledbara, stabila

resultat i

världsklass

Utvärdering och

förbättring

Hur gör ni för att utvärdera och

förbättra?

saknas

Heltäckande

systematisk

uppföljning, lärande

och förbättringsarbete

© SIQ - Institutet för Kvalitetsutveckling 12


Introduktionsutbildning -

Utvärderingsprocessen

Utvärdering av angreppssätt

• Använd Utvärderingsmatrisen

• Gå in på nivån 50 %

• Bedöm först nivån för varje dimension för sig genom att

bedöma dimensionens delar

• Pröva om nivån ska vara högre eller lägre

• Anpassa din bedömning tills det känns rätt

• Väg samman bedömningen av dimensionens delar till

deltotaler

• Väg samman deltotalerna till slutlig totalnivå för

delkriteriet så att totalen känns rätt

• Skriv in procenttalet

här ser det ut i ExaWeb

© SIQ - Institutet för Kvalitetsutveckling 13


Introduktionsutbildning -

Utvärderingsprocessen

Utvärdering av resultat (4.6, 6.1-6.3 och 7.5)

Relevans/omfattning

• Att måtten är relevanta och tillräckliga för att belysa de

aspekter som berörs av delkriteriet

• Att de har kopplingar till egna strategier och mål

• Att de omfattar relevanta områden, segment och processer

Prestation

härledbarhet; att resultaten är en logiskt följd av valda

angreppssätt och deras tillämpning

• nivåer; att egna resultatet jämförs med relevanta egna

målvärden och med konkurrenter och ledande organisationers

resultat

• trender; att resultatet förbättras över tid eller har en stabil hög/

uthållig nivå

Utvärdering av resultat

• Använd Utvärderingsmatrisen

• Gå in på nivån 50 %

• Bedöm först nivån för varje dimension för sig genom att

bedöma dimensionens delar

• Pröva om nivån ska vara högre eller lägre

• Anpassa din bedömning tills det känns rätt

• Väg samman bedömningen av dimensionens delar till

slutlig totalnivå för delkriteriet

© SIQ - Institutet för Kvalitetsutveckling 14


Introduktionsutbildning -

Utvärderingsprocessen

Klarmarkera dig i ExaWeb

• Till och med detta steget ska du att göra i och med ditt

hemarbete innan internatutbildningen.

Individuella förberedelser inför

konsensusmötet

Individuella

förberedelser inför

Konsensusmöte

• Utvärderingsledaren delar ut kriterier till Examinatorerna

för att de ska förbereda konsensusmötet.

• Förberedelsearbetet sker i ExaWeb.

• En sammanställning av allas kommentarer – en sk.

Bruttolista sker automatiskt i ExaWeb när

Examinatorerna har klarmarkerat sig.

© SIQ - Institutet för Kvalitetsutveckling 15


Introduktionsutbildning -

Utvärderingsprocessen

Utvärderingsprocessen i stort

Utvärderingsunderlag

skickas till

examinatorerna

Individuell

utvärdering

Individuella

förberedelser inför

Konsensusmöte

Konsensusmöte

Domarkommittémöte

1

ev Platsbesök

Återföringsrapport

Domarkommitté

möte 2

Ev. återföringsmöte

Ceremoni för

mottagare &

Konferens

Konsensus

Konsensusmöte

• Examinatorerna träffas 2–3 dagar

• Förberett arbete hämtas i ExaWeb

• Laget enas om styrkor, förbättringsområden och

platsbesöksfrågor

• Förnyad procentbedömning utifrån konsensusbeslutet

• Resultatet sammanställs i ExaWeb

© SIQ - Institutet för Kvalitetsutveckling 16


Introduktionsutbildning -

Utvärderingsprocessen

Platsbesök - Syfte

ev Platsbesök

• Verifiera styrkor

• Verifiera och klargöra beskrivna angreppssätt,

tillämpningar och resultat

• Ge bättre underlag för Återföringsrapportens

sammanfattning

• Förhindra ”önskebeskrivningar”

Råd för att skriva

platsbesöksfrågor

ev Platsbesök

• Hög värdering eller som är särskilt viktiga inslag i

utvärderingsunderlaget verifieras genom platsbesök

• Svårförstådda punkter där du gör en tolkning, bör också verifieras

vid platsbesök.

• Formulera platsbesöksfrågorna så att det blir tydligt vad som ska

verifieras.

• Observera att förbättringsområden normalt inte ska verifieras vid ett

platsbesök.

Läs också i Handledning för Examinatorer

© SIQ - Institutet för Kvalitetsutveckling 17


Introduktionsutbildning -

Utvärderingsprocessen

Återföringsrapportens innehåll & upplägg

• Sammanfattning

– Övergripande bedömning

– Signifikanta styrkor och förbättringsområden som är genomgående/

övergripande

– Korta kommentarer enligt systematiken i SIQs modell

– Angreppssätt

– Tillämpning

– Resultat

– Utvärdering och förbättring

– Kommentarer kring de tretton Grundläggande värderingarna

– Sammanfattande kommentarer per huvudkriterium, om laget finner det

lämpligt

• Tabell över de sju kvalitetsnivåerna

• Diagram som visar nivå per delkriterium för deltagande organisation

och för samtliga deltagare

• Styrkor och förbättringsområden per delkriterium, baserad på

konsensusprotokollet

Vårt gemensamma åtagande

SIQ

• Regler och anvisningar

Utveckling av SIQs Modell

• Utbildning av alla

inblandade

• Ceremonin

• Konferens

Examinatorerna

• Individuell värdering

• Konsensusmöte

• Platsbesök

• Återföringsrapport

Domarkommittén

• Beslut om värdig

mottagare

• Övervakar

processen

© SIQ - Institutet för Kvalitetsutveckling 18


Introduktionsutbildning -

Utvärderingsprocessen

Den deltagande organisationen

förväntar sig

• En utvärderingsprocess som är rättvis, ärlig och

konsekvent

• En välbalanserad återföring

• Konfidentiell hantering i tillämpliga delar

• Effektiv administration - professionalism

• Artighet och lyhördhet under platsbesöket

• En prestigefylld utmärkelse

• Underlag för fortsatt utvecklingsarbete och jämförelser

Tack för Din uppmärksamhet

Till detta avsnitt finns ett test som du måste genomföra och

klara för att få delta i internatutbildningen. Du hittar testet

på samma ställe där du hittade denna presentation.

www.siq.se/examinator/introduktionsutbildning

© SIQ - Institutet för Kvalitetsutveckling 19

More magazines by this user
Similar magazines