Sådan opstiller du en vægtet kriteriemodel til bureauvalg

Hvad er en vægtet kriteriemodel, og hvorfor bruge den ved bureauvalg?

En vægtet kriteriemodel udvælger mellem flere muligheder efter kriterier, der vægtes efter vigtighed. Metodebeskrivelsen »Idéudvælgelse baseret på vægtede kriterier« fra Københavns Universitet er lavet til at vælge mellem ideer eller koncepter, men fremgangsmåden passer direkte på et bureauvalg: »ideerne« er bureauerne i spil, og kriterierne er de egenskaber, I vil have opfyldt.

Det afgørende er, hvordan et kriterium forstås. Kriterier skal beskrives som egenskaber eller kvaliteter, som løsningen kan leve op til i mindre eller højere grad — ikke som krav, der kan besvares ja eller nej. Ved et bureauvalg betyder det, at I ikke ender med en tjekliste for bestået/ikke bestået, men med en vurdering af, hvor stærkt hvert bureau står på hver dimension.

Metoden har også en organisatorisk gevinst. Ifølge metodebeskrivelsen foregår kriterieudvikling normalt implicit, så deltagerne ikke er bevidste om, hvad de selv og andre mener er vigtigt for en løsning. Metoden afhjælper det og skaber dialog i gruppearbejdet om at udvikle og prioritere kriterier. Den dialog mangler, hvis bureauet vælges på mavefornemmelse eller den seneste præsentation. Metoden egner sig til minimum 3 og maksimum 10 muligheder, så antallet af bureauer i modellen bør ligge inden for det interval.

Fastlæg mindst fem kriterier for bureauvalget

Start med at beskrive minimum fem kriterier, som et bureau skal leve op til. Formuleringen er afgørende: Kriterier skal beskrive egenskaber eller kvaliteter, som løsningen kan leve op til i mindre eller højere grad, ikke krav, der kan besvares ja eller nej. En hurtig test: Kan kriteriet besvares med ja eller nej? Så er det et krav og skal skrives om.

Praktisk betyder det, at »Har bureauet erfaring med vores branche?« bliver til »Hvor relevant er bureauets erfaring med vores type opgave?«. Kriterielisten kan fx indeholde, hvor godt bureauets faglige profil matcher opgaven, hvor stærk projektledelse og kontaktmodel er, hvordan bureauet dokumenterer og overdrager sit arbejde, hvor gennemsigtigt tidsforbrug og økonomi rapporteres, og hvor godt arbejdsformen passer til jeres organisation. Listen skal afspejle jeres opgave, ikke en standardliste.

Sigtet med hver formulering er, at I kan forestille jer, hvad en lav og en høj vurdering vil betyde for et konkret bureau. Kan I ikke beskrive forskellen, er kriteriet for upræcist til at blive scoret og bør skrives om. Det er nemmere at rette her end at diskutere det, efter pointene er sat.

Eksempler på relevante kriterier til bureauvalg

Praktiske anbefalinger til bureauvalg

Vægt kriterierne fra 1 til 5

Når kriterierne er på plads, vægtes hvert kriterium fra 1 (mindre vigtig) til 5 (yderst vigtig). Vægtningen gør prioriteringerne synlige: To kriterier kan begge være relevante, men kun det ene kan være afgørende for, om samarbejdet bliver en succes.

Fordi kriterieudvikling typisk foregår implicit, er vægtningen den mest konfliktfyldte del af øvelsen — og den mest værdifulde. Lad hver deltager sætte vægte individuelt før mødet og sammenlign dem bagefter. Vægter to personer samme kriterium 5 og 2, ligger der en uenighed om, hvad der er vigtigt, som skal afklares, før bureauerne scores. Ellers scorer deltagerne i praksis efter hver deres model.

Vægtens størrelse påvirker resultatet direkte. Et kriterium med vægt 5 betyder, at en forskel på 2 point mellem to bureauer slår igennem med 10 point i den samlede score; samme forskel på et kriterium med vægt 2 giver kun 4 point. Hav det for øje, når I beslutter, om et kriterium skal have 4 eller 5.

Opstil skema og scor hvert bureau fra 1 til 10

Scoretrinnet foregår i et skema: Kriterierne med vægtning er rækker, bureauerne kolonner, og hvert bureau får 1 til 10 point for hvert kriterium. Metoden lægger op til at bruge skemaet aktivt som arbejdsredskab; metodebeskrivelsen har en skabelon til vægtet udvælgelse og angiver materialebehovet som tuscher, store ark papir og post-its — et format, hvor kriterier, vægte og scores står synligt for alle.

Begrund scoringen mundtligt kriterium for kriterium, så pointene ikke bliver et gæt. Ligger to bureauer tæt på et kriterium, er det en oplysning i sig selv: Det kriterium kan ikke skelne mellem dem, og beslutningen afgøres i praksis af de øvrige kriterier.

Alle bureauer skal vurderes på alle kriterier. Mangler I grundlag for at score et bureau på et kriterium, så indhent oplysningen eller markér kriteriet som ikke vurderbart frem for at give et tilfældigt point. Et gæt på 5 midt i skemaet flytter den samlede score lige så meget som et velbegrundet 5-tal.

Beregn vægtet score og forhold dig kritisk til resultatet

Når skemaet er udfyldt, ganges point med vægtens størrelse for hvert kriterium, og de vægtede point summeres per bureau til en samlet score. Et illustrativt regnestykke: Et kriterium med vægt 5, hvor bureau A får 8 point, bidrager med 40 point; et kriterium med vægt 2, hvor bureau A får 9 point, bidrager med 18 point.

Metoden stopper ikke ved summen. I metodebeskrivelsen fremhæves det, at man bagefter skal forholde sig til, om idéen med flest point også er den bedste — og at det spørgsmål kan give en god diskussion om vurderingskriterierne, deres relevans og vægtningen. Overført til bureauvalget: Spørg, om bureauet i toppen vinder på reelle forskelle, eller fordi et bestemt kriterium har fået en høj vægt, som ingen reelt har taget stilling til.

En praktisk følsomhedstest er at ændre vægten på de to eller tre kriterier, der flytter mest, og se, om rangordenen holder. Skifter vinderen, er beslutningen følsom over for enkelte vægtvalg, og det skal diskuteres åbent, før beslutningen træffes — ikke bagefter. Gennemføres bureauvalget som en del af et offentligt indkøb, findes der en særskilt vejledning til offentlige indkøbere, »Evalueringsmodeller – Praktisk vejledning til offentlige indkøbere« fra Konkurrence- og Forbrugerstyrelsen, med seks eksempler på modeller illustreret med samme standardeksempel. Den vægtede kriteriemodel her er et internt beslutningsredskab; i en udbudssituation kommer de formelle krav til evalueringsmetode oveni.

Indhent referencer og reducer bias

Referencer bruges til at be- eller afkræfte det indtryk, man har dannet sig, og til at afdække konkrete opmærksomhedspunkter. Medarbejder- og Kompetencestyrelsen beskriver for ansættelsesområdet, at referencer typisk indhentes i den sidste del af processen, efter samtalerne, men også kan indhentes tidligere. Ved et bureauvalg svarer det til at lægge referencetjekket efter præsentationerne og efter den indledende scoring, så referencerne kan udfordre de point, der er sat.

Referencens form har betydning for bias. Skriftlige referencer kan mindske bias, fordi man stiller samme spørgsmål neutralt til flere kandidater; mundtlige referencer kan give et mere umiddelbart og nuanceret billede. Ved mundtlige referencer skal der laves skriftligt notat, og den, referencen angår, skal give samtykke til, at den indhentes.

Der er to indbyggede skævheder. Den første er konteksten: Referencepersonens opfattelse er formet af den sammenhæng, kandidaten indgik i på det tidligere sted — en tidligere kunde har set én type opgave, ikke nødvendigvis den, I skal bruge bureauet til. Den anden er tiden: Referencer ligger ofte tilbage i tid, og man bør ikke indhente referencer fra den nuværende arbejdsgiver. For et bureau betyder det, at den mest relevante reference typisk er en tidligere kunde eller opdragsgiver, der har set en leverance indefra, og at I bør spørge til, hvilken rolle referencen havde i netop det samarbejde. Spørgsmålene kan med fordel suppleres med dybdegående spørgsmål til de områder af profilen, I særligt ønsker belyst.

Hold beslutningsmøde, og dokumentér valget

Beslutningsmødet skal gøre antagelserne eksplicitte. Metoden svarer på, at kriterieudvikling normalt foregår implicit, så deltagerne ikke er bevidste om, hvad de selv og andre mener er vigtigt. På mødet er det kriterier, vægte og scorer, der gør det eksplicitte.

En dagsorden efter metodens rækkefølge: Gennemgå kriterielisten, og læs hver vægtning højt med en kort begrundelse. Gennemgå scoringsskemaet, og brug tiden på de kriterier, hvor bureauerne ligger tæt. Gennemgå referencenoterne og de opmærksomhedspunkter, de gav. Forhold jer derefter til, om bureauet med flest point også er det bedste, og om kriterier eller vægtning skal justeres. Beslut. Justeres vægte eller kriterier på mødet, skal skemaet regnes igennem igen, før beslutningen falder.

Metoden lægger op til, at man efter udvælgelsen videreudvikler de 1-3 valgte muligheder. Ved et bureauvalg kan det være at præcisere opgaven og samarbejdsformen sammen med de bedste kandidater, før der underskrives.

Dokumentér til sidst den kriterieliste, den vægtning og det scoringsskema, der faktisk blev anvendt, samt referencenoter og begrundelsen for eventuelle justeringer. Det gør beslutningen efterprøvelig for deltagere, der ikke var med, og giver et sammenligningsgrundlag, næste gang bureauet skal evalueres eller skiftes.

Checkliste før beslutningsmøde