Fimpar och kollektivtrafik – evidensbaserad policy i praktiken

Tidigare publicerad i tidskriften Evidens och beslut, utgiven av Nätverket för evidensbaserad policy



Hur gör man för att evidensbasera policy?

Som påpekats ovan (i artikeln Vadå evidensbasering?) finns det inte bara en metod för att säkerställa att en policy har evidensen med sig utan metoden måste anpassas till den fråga man vill besvara. Med det sagt så finns det ändå likheter mellan olika metoder och i många fall där det handlar om policy vers syfte är att ändra på beteende måste experiment göras och för att dessa experiment ska kunna sägas visa på en effekt annan än slumpmässig måste metoder som randomisering, kontrollgrupp och i möjligaste mån blindning tillämpas.


Både i Göteborg och i Skåne har under senaste åren påbörjat försök att evidensbasera policy inom miljöområdet. Här ska vi se närmare på deras försök att med hjälp av Nudging förmå rökare att fimpa i askkopp i stället för på marken. (För mer om nudging se gärna artikeln Vad är Nudging? ovan)


Om man åkte buss i Skåne under sommaren 2018 kunde man mötas av skylten ovan i närheten av väderskyddet. Men helt säkert var det inte. Man kunde lika gärna stött på en helt vanlig svart askkopp för den stackars rökande kaninen och den gula askkoppen var nämligen en del av en experimentell studie.

Studiens utfördes på uppdrag av SYSAV som ett avfallsföretag som ägs av och verkar i 14 av södra Skånes kommuner (https://www.sysav.se/Privat/, http://www.onaturligtavfall.se/).

Själva studien planerades och genomfördes av konsultföretaget A Win Win World (https://www.awinwinworld.com/sv-SE/case/f%C3%A4rre-fimpar-i-sk%C3%A5ne-40413678).



På uppdrag av Trafikkontoret i Göteborg gjorde A Win Win World redan 2016 en första pilotstudie i Göteborg och under sommaren 2017 fortsatte man med en sammanlagt 12 veckor lång experimentell studie där man med hjälp av humor och iögonfallande färger och budskap ville försöka förmå rökare att välja att fimpa i askkoppen (https://www.awinwinworld.com/sv-SE/case/nudging-för-färre-fimpar-38610911).





Bakgrunden till projektet var att Trafikkontoret identifierat just cigarettfimpar som källan till både stora föroreningar och stora kostnader. Närmare bestämt så ger gamla fimpar upphov till betydande kemikalieföroreningar, de tar månader att bryta ned och ekonomiskt sett kostar bortstädning av fimpar från marken cirka 10 gånger å mycket som vanlig sophämtning. Av dessa skäl kontaktade Göteborgs stad A Win Win World för att med deras hjälp undersöka om man med hjälp av nudging, eller beteendedesign, skulle kunna reducera antalet fimpar slängd på marken vid spårvagnarnas väderskydd.


Studien inleddes med en 3-veckors period av förmätning av antalet fimpar vid åtta utvalda stationer. Därpå följde experimentperioden på 6 veckor då skyltar och markdekaler sattes upp och askkoppar målades om. Detta gjordes på hälften av de åtta utvalda stationerna och den andra hälften fick utgöra kontrollgrupp. Även under denna period räknades så klart antalet fimpar. Efter sex veckor togs skyltar och dekaler bort och målade askkoppar byttes mot vanliga svarta och en eftermätningsperiod på tre veckor följde.


Resultatet av studien visade att nudge-konceptet var upp till 70% effektivare än vanliga svarta askkoppar, att man kunde se en absolut minskning av antalet fimpar på marken och att effekten ökade över tid.

Projektet nominerades senare till ”Nudge awards”  och kammade hem första pris som mest effektiv beteendeinsats 2018.





Inför studien i Skåne gjordes vissa förändringar efter de lärdomar som dragits från Göteborgsprojektet. Till exempel hade markdekalerna i Göteborg visat sig effektiva men känsliga för slitage. Därför valde man i Skåne att måla direkt på marken istället. Man arbetade också om konceptet för skyltar och färger för att passa in i SYSAV:s redan pågående kampanj om ”onaturligt avfall” och kampanjens flora av ”onaturliga arter” - T-röding, plastbäver och topsvipa fick sällskap av snusmusen och nikotinkaninen.



Studien lades vidare upp enligt följande:

-          En experimentgrupp och en kontrollgrupp med nio hållplatser/väderskydd för vardera grupp utvalda för att spegla varandra gällande storlexindex, demografiska faktorer, utseende och antal förbipasserande.

-          Hållplatserna fördelades mellan Lund, Trelleborg och Ystad med 7 hållplatser i Lund respektive Trelleborg och 4 i Ystad.

-          Mätningar gjordes under sex veckor, två mätningar per vecka enligt tidsbestämt schema. Första mättillfället utgjorde förmätning.

-          Mätning på onsdagar och fredagar samt städning fredagar och måndagar för att undvika helger och för att ha samma förhållanden varje mätning.

-          På grund av praktiska omständigheter räknades enbart fimpar på marken och inte fimpar i askkopparna.

Resultatet av studien var i korthet:

-          Antalet fimpar på marken minskade med i genomsnitt 56% mer på nudge-platserna än på kontrollplatserna.

-          Denna minskning är statistiskt signifikant.

-          Effekten växte över tid.

Kostnaden per hållplats för nudge-konceptet var 6000 kr vilket i och med effekten som uppnåddes visar att investeringen var kostnadseffektiv och ger en hög ”return on investment” på kort tid. Och vid en kontroll 4,5 månader efter uppsättning noterades ingen vandalism eller slitage.



Men alla frågor är så klart inte utredda i och med studien. Studierapporten anger exempelvis att man inte vet hur effekten kommer att bestå på sikt eller om det var den ökade synligheten eller humorn eller kombinationen av dessa som var upphov till effekten.



Slutsats
De två studierna av evidensbasering i praktiken ger på grund av sitt metodologiska upplägg, sin studie-design, stöd för att den nudge-insats man valt har givit en effekt, att denna effekt är den man velat uppnå och att effekten är så stor att den är kostnadseffektiv redan på kort sikt.

Betyder det att andra typer av insatser är sämre eller inte kan ge ännu större effekt? Nej. Men det betyder att vi vet att denna insats är bättre än den lösning som fanns innan och att den har en effekt som är värd sin kostnad. Och vi vet också att vi kan konstatera att detta är något vi faktiskt inte bara tror utan faktiskt vet – eftersom det faktiskt undersökts!




Fördjupande intervju med Ann Thorén och Tim Isaksson



För att få ytterligare kunskap om Skåne-projektet och om evidensbasering av policy vände jag mig till Sysav:s Ann Thorén och A win win worlds projektledare Tim Isaksson.

Intervju med Ann Thorén, projektledare på Sysav

Jesper:

Hej Ann!

Kan du berätta vilket problemet det var som ni hade uppmärksammat och ville hitta en lösning på?

Ann:

Sysav ägs av 14 kommuner och i kommunernas avfallsplan finns ett mål om att minska nedskräpningen. Vi har gjort skräpmätningar som visar att fimpar är det absolut vanligaste skräpet, precis som alla andra skräpmätningar som görs i landet också konstaterar. Tillsammans kom vi fram till att vi därför ville hitta ett sätt att minska nedskräpning av just fimpar och vi ville fokusera på nedskräpningen som sker på hållplatser.

Jesper:

Hur har man tidigare tänkt kring lösningar av fimp-problemet?

Anna:

Kommunerna har främst satsat på renhållning, att städa bort skräpet på hållplatserna. Hålla snyggt och rent. Inte så mycket förebyggande.

Jesper:

Vilka lösningsförslag, om några, har man testa förut?

Ann:

De har nog inte testat så mycket, vad jag vet: Som sagt, mest renhållning.

Men Malmö stad har de sista två somrarna haft särskilda kampanjer för att lyfta nedskräpningsfrågan.

Jesper:

Hur har dessa fungerat?

Ann:

Det har varit rena informationskampanjer och har inte innehållit mätningar kring nedskräpningen. Däremot intervjuer med invånare och renhållningspersonal som är upplevt det positivt att man uppmärksammat nedskräpningen.

Jesper: 

Hur kom det sig att Sysav kom att överväga en nudge-lösning?

Ann:

Vill bara säga att det inte är Sysav ensamt som har gjort denna nudge, utan vi har gjort det tillsammans med våra 14 ägarkommuner och särskilt med 3 av dem; Trelleborg, Ystad och Lund. De 3 kommunerna har lagt ner särskilt mycket tid och engagemang i detta.

Vi tycket nudging lät spännande och hade hört om andra lyckade projekt, tex det enkla med fotspår till soptunnor. Vi hade även läst om Göteborgsprojekt med just hållplatser och insåg att det hade varit spännande att bygga vidare på det. Att inte starta om från början utan vidareutveckla ett redan testat koncept.

Jesper:

Hur kom det sig att ni valde att samarbeta med Awww?

Ann:

Eftersom vi är ett kommunalt bolag måste vi enligt LOU upphandla konsulttjänster. Så vi var glada att AWWW var intresserade att svara på upphandlingen eftersom de hade projektlett Göteborgs satsning.

Jesper: 

Hur har ni tänkt kring att välja en evidensbaserad metodologi?

Ann:

Det kändes viktigt att få resultat som inte kunde ifrågasättas, att visa att det går att göra skillnad. Det gör det enklare att sprida resultaten och även väcka intresse att fortsätta arbetet. Vi vill ju att den här nudgen ska testas i fler kommuner. Det finns ju som sagt bara win-win i detta med att arbeta mot nedskräpningen.

Jesper: 

Hur kommer ni att gå vidare nu?

Ann:

Den närmaste tiden kommer fler av våra ägarkommuner att testa nudgen med Nikotinkaninen. Först är Kävlinge kommun som gör det nu under hösten 2018. Men vi kommer även titta på andra sätt att arbeta vidare med nedskräpningsfrågan.

Jesper:

Vilka är de viktigaste lärdomarna?

Vilka är det största fördelarna med att arbeta med evidensbasering?

Ann:

Att det är viktigt att vara noggrann, att låta det förberedande arbetet ta tid. Att inte ha för bråttom. Att skapa engagemang hos alla som deltar i arbetet, att de förstår sin roll och att det de ska göra är viktigt för slutresultatet.

Utifrån vårt perspektiv så är fördelen med evidensbasering att få resultat som är tydliga och välgrundade.

Jesper:

Tack Ann! Och fortsatt lycka till med både nudge-projektet och era andra projekt.

Intervju med Tim Isaksson, projektledare på A win win world

Jesper:

Hej Tim.

Kan du berätta om bakgrunden till Skåneprojektet?

Tim:

Sysav hörde talas om projektet i Göteborg och blev intresserade. De kontaktade oss och på den vägen var det – ett bra exempel på hur nytänkande och smarta lösningar snabbt kan få spridning. Plus så klart på hur offentliga investeringar i evidensbasering i en del av landet leder till fördelar i en annan, i en positiv spiral, eftersom man kan bygga vidare på tidigare lärdomar.

Jesper:

Vilka lärdomar tog ni med er från Göteborgsprojektet och vad innebar det för  Skåneprojektet?

Tim:

Framförallt tog vi med oss insikter kring vilka dimensioner som bör vägas in vid studiedesignen när det gäller skapande av nudge- och kontrollgrupp. Av praktiska skäl hade vi varken i Göteborg eller i Skåne möjlighet att nyttja ett så pass stort antal hållplatser att vi kunde randomisera indelningen. Därför behövde vi noggrant studera varje hållplats och därefter skapa grupperna på så vis att de blev så lika varandra som möjligt. Det handlade om faktorer såsom layout, omgivning, demografi, antal förbipasserande, befintlig nedskräpning, antal väderkurer med reklam, design på väderkurer, design på papperskorgar, antal resenärer, befintlig nedskräpning, m.m. m.m. Att vi redan hade tänkt till kring detta i Göteborg innebar så klart att vi kunde planera ännu bättre för det i Skåne.

Vidare tog vi med oss ett antal mättekniska lärdomar, t.ex. olika sätt att arbeta för att se till att mätningarna på en given hållplats sker på samma tid varje gång i så hög utsträckning som möjligt.

Till sist vill jag också nämna att den på många sätt större studien i Göteborg möjliggjorde ett någon mindre storlek på projektet i Skåne, vilket så klart är bra ur resurssynpunkt. Bl.a. kunde vi ur datan i Göteborg se att effekten från skylten sannolikt ökar över tid, och ta detta i beaktning i studiedesign och val av analysmetod i Skåne, samt även se att både skyltar och markdekaler fungerade var för sig. Det senare kunde vi inte göra i Skåne, där projektets storlek och tillgängliga hållplatser enbart tillätt en behandlingsgrupp. Att antalet observationer i projektet i Skåne blev färre är så klart aldrig att rekommendera, men tack vare projektet i Göteborg blev detta dessutom något mindre problematiskt.

Jesper:

Vilka förändringar, främst rörande undersökningens upplägg, har ni gjort i förhållande till Göteborgsprojektet?

Tim:

Utöver att kontextanpassa det söta djuret och ändra formen på skylt och markmålning så valde vi även att kombinera skylt med markmålningar i ett och samma koncept, dels för att maximera effekten och dels för att markmålningar höst- och vintertid kan döljas av snö och löv. Att vi i Göteborg testade dessa element för sig (även om de då såg lite annorlunda ut) gjorde så klart detta beslut lättare, för det vi mätte i Skåne blev ju effekten från hela "paketet" – vi kunde inte veta vilket element som gjorde vad. Allra helst hade vi ju velat ha tre behandlingsgrupper, men av praktiska skäl gick inte det.

Projektet i Skånes mindre storlek innebar också att mätningarna varken kunde hålla på lika många veckor eller göras lika ofta. Istället för dagliga mätningar räknade vi fimparna på marken två gånger per vecka för varje hållplats. Både detta och sammanhanget – busshållplatser i mindre städer istället för spårvagnshållplatser i Göteborg – innebar att mycket mer planering och koordinering krävdes. I Göteborg städades hållplatserna varje morgon, vilket var väldigt bra för oss. I Skåne däremot skedde städningarna mycket mer sällan, vilket dels riskerade att resultera i dubbelräkningar av fimpar och dels att ge försvårande variation i datan t.ex. om städningen innan onsdagsmätningen hade skett tre dagar tidigare medan städningen innan fredagsmätningen hade skett bara en dag tidigare. Så vi fick se till att nya städrutiner skapades under mätveckorna.

Jesper:

Vilka är de viktigaste delarna för att en studie för att evidensbasera policy ska bli bra och användbar? Vad får man absolut inte glömma att göra och vad är mindre viktigt?

Tim:

Noggrann planering är a och o. Alla projektdeltagare behöver tänka på mätbarhet redan från dag ett. Studiedesign går inte att hänga på efter att interventionen och platsen för studien är bestämda, för då löper man en stor risk för att praktiska faktorer sätter käppar i hjulen. Mätbarheten bör få styra resterande delar av projektet, inte tvärtom.

Om man har möjlighet att arbeta med kontrollgrupp – vilket ju är guldstandarden – så ska man dock inte klappas sig på axeln riktigt än. För att jämförelsen alls ska bli meningsfull är det ju nämligen centralt att allt annat lika uppfylls i så hög utsträckning som möjligt. Jag har redan varit inne på hur vi arbetade med detta i dessa projekt, men en relaterad annan sak som är viktig att tänka på i fältstudier är så klart att minimera risken för att personerna i kontrollgruppen exponeras för nudgen. För att undvika detta behövde vi försöka se till att personer som hoppade på bussen på en hållplats i kontrollgruppen sedan inte passerade en hållplats med nudgekonceptet installerat innan de hoppar av. Och, på samma sätt, att se till att resenärer som hoppar på vid en hållplats i nudgegruppen sen inte reser förbi fler hållplatser med nudgen och därmed exponeras för den mer än andra eller mer än vad som är realistiskt. 

Det är också väldigt viktigt att se till att man mäter effekten från det man vill mäta, inte effekten från eventuellt mediauppmärksamhet. Både i Göteborg och Skåne var vi därför noggranna med att be projektdeltagarna att kommunicera så lite som möjligt innan och under mätningarna. Vid fältexperiment av denna typ vill journalister gärna skriva, och om försök att be dem att vänta tills resultaten är klara – då vi ju vill kommunicera så mycket som möjligt – inte fungerar kan man åtminstone se till att det finns beredskap på plats för hur vi vill beskriva aktiviteterna just nu. D.v.s. som "något vi testar lite för tillfället" snarare än som "ett experiment som pågår si och så länge och fungerar på detta och detta vis". Detsamma gäller för mätpersonalen om de får frågor när de är ute och räknar.

Det är svårt att säga att någonting är av mindre vikt, men för projekt såsom dessa skulle det väl i så fall vara exakt hur räkningarna utförs. Det viktiga är mätpersonalen är konsekvent i hur de gör och att det inte blir några systematiska skillnader mellan nudge- och kontrollgrupp. När mätpersonalen är igång märker de kanske att de på en viss hållplats vill räkna två meter in i gräset istället för bara en, eller vill gå på ett särskilt sätt p.g.a. hållplatsens layout. Så länge de sen räknar så varje gång och mätzonerna inte blir större för kontrollgruppen är för nudgegruppen eller vice versa, så är detta av mindre betydelse.

Jesper:

Hur ska ni gå vidare nu? Blir det fler studier på samma tema eller på något annat?

Tim:

Vi hoppas så klart på fler fimpstudier! Nudgen sprids redan till andra kommuner – Kävlinge, Nyköping – och även om våra projekt bidragit med kostnadseffektiva lösningar så är ju problemet inte direkt avhjälpt, varken i "våra" kommuner eller i övriga landet. En sak vi göra skulle vilja titta närmare på nu när vi har en del data i ryggen är hållplatser där problemen är särskilt stora, såsom vid tågstationer. Vi har nämligen hittills haft svårt att inkludera sådana hållplatser. Dels är de så unika på faktorerna nämnda ovan att det är svårt att skapa bra nudge- och kontrollgrupper, och dels innebär det faktum att det ofta är samma passagerare varje dag att det blir svårt att testa olika behandlingar på samma plats. Men kanske kan vi närma oss dessa problem bättre nu.

Övriga områden vi planerar studier på just nu inkluderar hållbara resvanor överlag och hållbarhetsarbete på arbetsplatser, och vi har nyligen slutrapporterat ett flertal studier på nudgar designade för att främja cykling.

Jesper:

Hur ser du på hur Nudging utvecklar sig i Sverige? Växer intresset fortfarande? Är det ett intresse som blir till verkliga försök att ändra på saker med hjälp av nudging eller är det mest prat?

Tim:

Intresset bara växer och växer. Varje dag får vi nya medlemmar i Nudging Sweden-gruppen på Facebook, våra och andras föreläsningar, workshops och kurser är i oerhört hög efterfrågan och Konsumentverkets Forum för miljösmart konsumtion eldar på intresset ytterligare. Och det är definitivt inte mest prat – alla vill tillämpa insikterna i verkligheten. De filosofiska aspekterna kring nudging diskuteras inte alls i samma utsträckning som de faktiska nudgarna, vilket verkligen tyder på att det finns stor aptit på nya sätt att arbeta med många av samhällets utmaningar.

Jesper:

Hur ser den närmaste framtiden för Nudging i praktiken ut?

Tim:
Fler tillämpningsområden och fler studier som bidrar till mer evidensbasering i samhället. Fortsatt kunskapsspridning. Vi på A Win Win World tänker bidra till allt detta genom den databas över evidensbaserade nudgar som vi håller på att bygga, vilken vi tänker ska underlätta för alla samhällsaktörer att identifiera och testa smarta lösningar. Den ska också göra det tydligt hur mycket bevis det finns för att en given nudge kommer att fungera.

Jesper:
Tack så mycket Tim och fortsatt lycka till med ert arbete att sprida kunskapen om nudging

PS: Alla bilder hämtade från projektrapporterna och SYSAV. Se länkar i början av artikeln.