Tidigare publicerad i tidskriften Evidens och beslut, utgiven av Nätverket för evidensbaserad policy
Hur gör man för att
evidensbasera policy?
Som påpekats ovan (i artikeln
Vadå evidensbasering?) finns det inte
bara en metod för att säkerställa att en policy har evidensen med sig utan
metoden måste anpassas till den fråga man vill besvara. Med det sagt så finns
det ändå likheter mellan olika metoder och i många fall där det handlar om
policy vers syfte är att ändra på beteende måste experiment göras och för att
dessa experiment ska kunna sägas visa på en effekt annan än slumpmässig måste
metoder som randomisering, kontrollgrupp och i möjligaste mån blindning
tillämpas.
Både i Göteborg och i Skåne har
under senaste åren påbörjat försök att evidensbasera policy inom miljöområdet.
Här ska vi se närmare på deras försök att med hjälp av Nudging förmå rökare att fimpa i askkopp i stället för på marken.
(För mer om nudging se gärna artikeln Vad
är Nudging? ovan)
Om man åkte buss i Skåne
under sommaren 2018 kunde man mötas av skylten ovan i närheten av väderskyddet.
Men helt säkert var det inte. Man kunde lika gärna stött på en helt vanlig
svart askkopp för den stackars rökande kaninen och den gula askkoppen var
nämligen en del av en experimentell studie.
Studiens utfördes på uppdrag
av SYSAV som ett avfallsföretag som
ägs av och verkar i 14 av södra Skånes kommuner (https://www.sysav.se/Privat/, http://www.onaturligtavfall.se/).
Själva studien planerades och
genomfördes av konsultföretaget A Win
Win World (https://www.awinwinworld.com/sv-SE/case/f%C3%A4rre-fimpar-i-sk%C3%A5ne-40413678).
På uppdrag av Trafikkontoret i Göteborg gjorde A Win
Win World redan 2016 en första pilotstudie i Göteborg och under sommaren 2017
fortsatte man med en sammanlagt 12 veckor lång experimentell studie där man med
hjälp av humor och iögonfallande färger och budskap ville försöka förmå rökare
att välja att fimpa i askkoppen (https://www.awinwinworld.com/sv-SE/case/nudging-för-färre-fimpar-38610911).
Bakgrunden till projektet var
att Trafikkontoret identifierat just cigarettfimpar som källan till både stora
föroreningar och stora kostnader. Närmare bestämt så ger gamla fimpar upphov
till betydande kemikalieföroreningar, de tar månader att bryta ned och
ekonomiskt sett kostar bortstädning av fimpar från marken cirka 10 gånger å
mycket som vanlig sophämtning. Av dessa skäl kontaktade Göteborgs stad A Win
Win World för att med deras hjälp undersöka om man med hjälp av nudging, eller beteendedesign,
skulle kunna reducera antalet fimpar slängd på marken vid spårvagnarnas
väderskydd.
Studien inleddes med en
3-veckors period av förmätning av antalet fimpar vid åtta utvalda stationer.
Därpå följde experimentperioden på 6 veckor då skyltar och markdekaler sattes
upp och askkoppar målades om. Detta gjordes på hälften av de åtta utvalda
stationerna och den andra hälften fick utgöra kontrollgrupp. Även under denna
period räknades så klart antalet fimpar. Efter sex veckor togs skyltar och dekaler
bort och målade askkoppar byttes mot vanliga svarta och en eftermätningsperiod
på tre veckor följde.
Resultatet av studien visade
att nudge-konceptet var upp till 70% effektivare än vanliga svarta askkoppar,
att man kunde se en absolut minskning av antalet fimpar på marken och att
effekten ökade över tid.
Projektet nominerades senare
till ”Nudge awards” och kammade hem
första pris som mest effektiv beteendeinsats 2018.
Inför studien i Skåne gjordes
vissa förändringar efter de lärdomar som dragits från Göteborgsprojektet. Till
exempel hade markdekalerna i Göteborg visat sig effektiva men känsliga för
slitage. Därför valde man i Skåne att måla direkt på marken istället. Man
arbetade också om konceptet för skyltar och färger för att passa in i SYSAV:s
redan pågående kampanj om ”onaturligt avfall” och kampanjens flora av ”onaturliga
arter” - T-röding, plastbäver och topsvipa fick sällskap av snusmusen och
nikotinkaninen.
Studien lades vidare upp
enligt följande:
-
En
experimentgrupp och en kontrollgrupp med nio hållplatser/väderskydd för vardera
grupp utvalda för att spegla varandra gällande storlexindex, demografiska
faktorer, utseende och antal förbipasserande.
-
Hållplatserna
fördelades mellan Lund, Trelleborg och Ystad med 7 hållplatser i Lund respektive
Trelleborg och 4 i Ystad.
-
Mätningar
gjordes under sex veckor, två mätningar per vecka enligt tidsbestämt schema.
Första mättillfället utgjorde förmätning.
-
Mätning
på onsdagar och fredagar samt städning fredagar och måndagar för att undvika
helger och för att ha samma förhållanden varje mätning.
-
På grund
av praktiska omständigheter räknades enbart fimpar på marken och inte fimpar i
askkopparna.
Resultatet av studien var i
korthet:
-
Antalet
fimpar på marken minskade med i genomsnitt 56% mer på nudge-platserna än på
kontrollplatserna.
-
Denna
minskning är statistiskt signifikant.
-
Effekten
växte över tid.
Kostnaden per hållplats för
nudge-konceptet var 6000 kr vilket i och med effekten som uppnåddes visar att
investeringen var kostnadseffektiv och ger en hög ”return on investment” på
kort tid. Och vid en kontroll 4,5 månader efter uppsättning noterades ingen
vandalism eller slitage.
Men alla frågor är så klart
inte utredda i och med studien. Studierapporten anger exempelvis att man inte
vet hur effekten kommer att bestå på sikt eller om det var den ökade
synligheten eller humorn eller kombinationen av dessa som var upphov till
effekten.
Slutsats
De två studierna av evidensbasering i praktiken ger på grund av sitt metodologiska
upplägg, sin studie-design, stöd för att den nudge-insats man valt har givit en
effekt, att denna effekt är den man velat uppnå och att effekten är så stor att
den är kostnadseffektiv redan på kort sikt.
Betyder det att andra typer
av insatser är sämre eller inte kan ge ännu större effekt? Nej. Men det betyder
att vi vet att denna insats är bättre än den lösning som fanns innan och att
den har en effekt som är värd sin kostnad. Och vi vet också att vi kan konstatera
att detta är något vi faktiskt inte bara tror utan faktiskt vet – eftersom det
faktiskt undersökts!
Fördjupande intervju med Ann Thorén och Tim
Isaksson
För att få ytterligare
kunskap om Skåne-projektet och om evidensbasering av policy vände jag mig till
Sysav:s Ann Thorén och A win win worlds projektledare Tim Isaksson.
Intervju med Ann Thorén, projektledare på Sysav
Jesper:
Hej Ann!
Kan du berätta vilket problemet det var som ni
hade uppmärksammat och ville hitta en lösning på?
Ann:
Sysav ägs av 14
kommuner och i kommunernas avfallsplan finns ett mål om att minska
nedskräpningen. Vi har gjort skräpmätningar som visar att fimpar är det absolut
vanligaste skräpet, precis som alla andra skräpmätningar som görs i landet
också konstaterar. Tillsammans kom vi fram till att vi därför ville hitta ett
sätt att minska nedskräpning av just fimpar och vi ville fokusera på
nedskräpningen som sker på hållplatser.
Jesper:
Hur har man tidigare tänkt kring lösningar av fimp-problemet?
Anna:
Kommunerna har främst
satsat på renhållning, att städa bort skräpet på hållplatserna. Hålla snyggt
och rent. Inte så mycket förebyggande.
Jesper:
Vilka lösningsförslag, om några, har man testa
förut?
Ann:
De har nog inte testat
så mycket, vad jag vet: Som sagt, mest renhållning.
Men Malmö stad har de
sista två somrarna haft särskilda kampanjer för att lyfta nedskräpningsfrågan.
Jesper:
Hur har dessa fungerat?
Ann:
Det har varit rena
informationskampanjer och har inte innehållit mätningar kring nedskräpningen.
Däremot intervjuer med invånare och renhållningspersonal som är upplevt det
positivt att man uppmärksammat nedskräpningen.
Jesper:
Hur kom det sig att Sysav kom att överväga en nudge-lösning?
Ann:
Vill bara säga att det
inte är Sysav ensamt som har gjort denna nudge, utan vi har gjort det
tillsammans med våra 14 ägarkommuner och särskilt med 3 av dem; Trelleborg,
Ystad och Lund. De 3 kommunerna har lagt ner särskilt mycket tid och engagemang
i detta.
Vi tycket nudging lät
spännande och hade hört om andra lyckade projekt, tex det enkla med fotspår
till soptunnor. Vi hade även läst om Göteborgsprojekt med just hållplatser och
insåg att det hade varit spännande att bygga vidare på det. Att inte starta om
från början utan vidareutveckla ett redan testat koncept.
Jesper:
Hur kom det sig att ni valde att samarbeta med
Awww?
Ann:
Eftersom vi är ett
kommunalt bolag måste vi enligt LOU upphandla konsulttjänster. Så vi var glada
att AWWW var intresserade att svara på upphandlingen eftersom de hade
projektlett Göteborgs satsning.
Jesper:
Hur har ni tänkt kring att välja en evidensbaserad
metodologi?
Ann:
Det kändes viktigt att
få resultat som inte kunde ifrågasättas, att visa att det går att göra
skillnad. Det gör det enklare att sprida resultaten och även väcka intresse att
fortsätta arbetet. Vi vill ju att den här nudgen ska testas i fler kommuner.
Det finns ju som sagt bara win-win i detta med att arbeta mot nedskräpningen.
Jesper:
Hur kommer ni att gå vidare nu?
Ann:
Den närmaste tiden
kommer fler av våra ägarkommuner att testa nudgen med Nikotinkaninen. Först är
Kävlinge kommun som gör det nu under hösten 2018. Men vi kommer även titta på
andra sätt att arbeta vidare med nedskräpningsfrågan.
Jesper:
Vilka är de viktigaste lärdomarna?
Vilka är det största fördelarna med att arbeta
med evidensbasering?
Ann:
Att det är viktigt att
vara noggrann, att låta det förberedande arbetet ta tid. Att inte ha för
bråttom. Att skapa engagemang hos alla som deltar i arbetet, att de förstår sin
roll och att det de ska göra är viktigt för slutresultatet.
Utifrån vårt perspektiv
så är fördelen med evidensbasering att få resultat som är tydliga och
välgrundade.
Jesper:
Tack Ann! Och fortsatt lycka till med både
nudge-projektet och era andra projekt.
Intervju med Tim Isaksson, projektledare på A win win world
Jesper:
Hej Tim.
Kan du berätta om bakgrunden till Skåneprojektet?
Tim:
Sysav hörde talas om projektet i Göteborg och blev
intresserade. De kontaktade oss och på den vägen var det – ett bra exempel på
hur nytänkande och smarta lösningar snabbt kan få spridning. Plus så klart på
hur offentliga investeringar i evidensbasering i en del av landet leder till
fördelar i en annan, i en positiv spiral, eftersom man kan bygga vidare på
tidigare lärdomar.
Jesper:
Vilka lärdomar tog ni med er från
Göteborgsprojektet och vad innebar det för Skåneprojektet?
Tim:
Framförallt tog vi med oss insikter kring vilka
dimensioner som bör vägas in vid studiedesignen när det gäller skapande av
nudge- och kontrollgrupp. Av praktiska skäl hade vi varken i Göteborg eller i
Skåne möjlighet att nyttja ett så pass stort antal hållplatser att vi kunde
randomisera indelningen. Därför behövde vi noggrant studera varje hållplats och
därefter skapa grupperna på så vis att de blev så lika varandra som möjligt.
Det handlade om faktorer såsom layout, omgivning, demografi, antal
förbipasserande, befintlig nedskräpning, antal väderkurer med reklam, design på
väderkurer, design på papperskorgar, antal resenärer, befintlig nedskräpning,
m.m. m.m. Att vi redan hade tänkt till kring detta i Göteborg innebar så klart
att vi kunde planera ännu bättre för det i Skåne.
Vidare tog vi med oss ett antal mättekniska
lärdomar, t.ex. olika sätt att arbeta för att se till att mätningarna på en
given hållplats sker på samma tid varje gång i så hög utsträckning som möjligt.
Till sist vill jag också nämna att den på många sätt
större studien i Göteborg möjliggjorde ett någon mindre storlek på projektet i
Skåne, vilket så klart är bra ur resurssynpunkt. Bl.a. kunde vi ur datan i
Göteborg se att effekten från skylten sannolikt ökar över tid, och ta detta i
beaktning i studiedesign och val av analysmetod i Skåne, samt även se att både
skyltar och markdekaler fungerade var för sig. Det senare kunde vi inte göra i
Skåne, där projektets storlek och tillgängliga hållplatser enbart tillätt en
behandlingsgrupp. Att antalet observationer i projektet i Skåne blev färre är
så klart aldrig att rekommendera, men tack vare projektet i Göteborg blev detta
dessutom något mindre problematiskt.
Jesper:
Vilka förändringar, främst rörande
undersökningens upplägg, har ni gjort i förhållande till Göteborgsprojektet?
Tim:
Utöver att kontextanpassa det söta djuret och ändra
formen på skylt och markmålning så valde vi även att kombinera skylt med
markmålningar i ett och samma koncept, dels för att maximera effekten och dels
för att markmålningar höst- och vintertid kan döljas av snö och löv. Att vi i
Göteborg testade dessa element för sig (även om de då såg lite annorlunda ut)
gjorde så klart detta beslut lättare, för det vi mätte i Skåne blev ju effekten
från hela "paketet" – vi kunde inte veta vilket element som gjorde
vad. Allra helst hade vi ju velat ha tre behandlingsgrupper, men av praktiska
skäl gick inte det.
Projektet i Skånes mindre storlek innebar också att
mätningarna varken kunde hålla på lika många veckor eller göras lika ofta.
Istället för dagliga mätningar räknade vi fimparna på marken två gånger per
vecka för varje hållplats. Både detta och sammanhanget – busshållplatser i
mindre städer istället för spårvagnshållplatser i Göteborg – innebar att mycket
mer planering och koordinering krävdes. I Göteborg städades hållplatserna varje
morgon, vilket var väldigt bra för oss. I Skåne däremot skedde städningarna
mycket mer sällan, vilket dels riskerade att resultera i dubbelräkningar av
fimpar och dels att ge försvårande variation i datan t.ex. om städningen innan
onsdagsmätningen hade skett tre dagar tidigare medan städningen innan
fredagsmätningen hade skett bara en dag tidigare. Så vi fick se till att nya
städrutiner skapades under mätveckorna.
Jesper:
Vilka är de viktigaste delarna för att en studie
för att evidensbasera policy ska bli bra och användbar? Vad får man absolut
inte glömma att göra och vad är mindre viktigt?
Tim:
Noggrann planering är a och o. Alla projektdeltagare
behöver tänka på mätbarhet redan från dag ett. Studiedesign går inte att hänga
på efter att interventionen och platsen för studien är bestämda, för då löper
man en stor risk för att praktiska faktorer sätter käppar i hjulen. Mätbarheten
bör få styra resterande delar av projektet, inte tvärtom.
Om man har möjlighet att arbeta med kontrollgrupp –
vilket ju är guldstandarden – så ska man dock inte klappas sig på axeln riktigt
än. För att jämförelsen alls ska bli meningsfull är det ju nämligen centralt
att allt annat lika uppfylls i så hög utsträckning som
möjligt. Jag har redan varit inne på hur vi arbetade med detta i dessa projekt,
men en relaterad annan sak som är viktig att tänka på i fältstudier är så klart
att minimera risken för att personerna i kontrollgruppen exponeras för nudgen.
För att undvika detta behövde vi försöka se till att personer som hoppade på
bussen på en hållplats i kontrollgruppen sedan inte passerade en hållplats med
nudgekonceptet installerat innan de hoppar av. Och, på samma sätt, att se
till att resenärer som hoppar på vid en hållplats i nudgegruppen sen inte reser
förbi fler hållplatser med nudgen och därmed exponeras för den mer än andra
eller mer än vad som är realistiskt.
Det är också väldigt viktigt att se till att man
mäter effekten från det man vill mäta, inte effekten från eventuellt mediauppmärksamhet.
Både i Göteborg och Skåne var vi därför noggranna med att be projektdeltagarna
att kommunicera så lite som möjligt innan och under mätningarna. Vid
fältexperiment av denna typ vill journalister gärna skriva, och om försök att
be dem att vänta tills resultaten är klara – då vi ju vill kommunicera så
mycket som möjligt – inte fungerar kan man åtminstone se till att det finns
beredskap på plats för hur vi vill beskriva aktiviteterna just nu. D.v.s. som
"något vi testar lite för tillfället" snarare än som "ett
experiment som pågår si och så länge och fungerar på detta och detta vis".
Detsamma gäller för mätpersonalen om de får frågor när de är ute och räknar.
Det är svårt att säga att någonting är av mindre
vikt, men för projekt såsom dessa skulle det väl i så fall vara exakt hur
räkningarna utförs. Det viktiga är mätpersonalen är konsekvent i hur de gör och
att det inte blir några systematiska skillnader mellan nudge- och
kontrollgrupp. När mätpersonalen är igång märker de kanske att de på en viss
hållplats vill räkna två meter in i gräset istället för bara en, eller vill gå
på ett särskilt sätt p.g.a. hållplatsens layout. Så länge de sen räknar så
varje gång och mätzonerna inte blir större för kontrollgruppen är för
nudgegruppen eller vice versa, så är detta av mindre betydelse.
Jesper:
Hur ska ni gå vidare nu? Blir det fler studier på
samma tema eller på något annat?
Tim:
Vi hoppas så klart på fler fimpstudier! Nudgen
sprids redan till andra kommuner – Kävlinge, Nyköping – och även om våra projekt
bidragit med kostnadseffektiva lösningar så är ju problemet inte direkt
avhjälpt, varken i "våra" kommuner eller i övriga landet. En sak vi
göra skulle vilja titta närmare på nu när vi har en del data i ryggen är
hållplatser där problemen är särskilt stora, såsom vid tågstationer. Vi har
nämligen hittills haft svårt att inkludera sådana hållplatser. Dels är de så
unika på faktorerna nämnda ovan att det är svårt att skapa bra nudge- och
kontrollgrupper, och dels innebär det faktum att det ofta är samma passagerare
varje dag att det blir svårt att testa olika behandlingar på samma plats. Men
kanske kan vi närma oss dessa problem bättre nu.
Övriga områden vi planerar studier på just nu
inkluderar hållbara resvanor överlag och hållbarhetsarbete på arbetsplatser,
och vi har nyligen slutrapporterat ett flertal studier på nudgar designade för
att främja cykling.
Jesper:
Hur ser du på hur Nudging utvecklar sig i
Sverige? Växer intresset fortfarande? Är det ett intresse som blir till
verkliga försök att ändra på saker med hjälp av nudging eller är det mest prat?
Tim:
Intresset bara växer och växer. Varje dag får vi nya
medlemmar i Nudging Sweden-gruppen på Facebook, våra och andras föreläsningar,
workshops och kurser är i oerhört hög efterfrågan och Konsumentverkets Forum
för miljösmart konsumtion eldar på intresset ytterligare. Och det är definitivt
inte mest prat – alla vill tillämpa insikterna i verkligheten. De filosofiska
aspekterna kring nudging diskuteras inte alls i samma utsträckning som de
faktiska nudgarna, vilket verkligen tyder på att det finns stor aptit på nya
sätt att arbeta med många av samhällets utmaningar.
Jesper:
Hur ser den närmaste framtiden för Nudging i praktiken ut?
Tim:
Fler tillämpningsområden och
fler studier som bidrar till mer evidensbasering i samhället. Fortsatt
kunskapsspridning. Vi på A Win Win World tänker bidra till allt detta genom den
databas över evidensbaserade nudgar som vi håller på att bygga, vilken vi tänker
ska underlätta för alla samhällsaktörer att identifiera och testa smarta
lösningar. Den ska också göra det tydligt hur mycket bevis det finns för att en
given nudge kommer att fungera.
Jesper:
Tack så mycket Tim och fortsatt lycka till med ert arbete att sprida kunskapen
om nudging
PS: Alla bilder hämtade från projektrapporterna
och SYSAV. Se länkar i början av artikeln.