Tänk dig att du gör en roadtripp till Danmark och just kör upp på Öresundsbron. Vädret är klart och lugnt, solen skiner och på radion har nyheterna precis börjat. Efter de första korta inslagen har ni kommit en bit upp på bron och nu övergår kortnyheterna till ett längre reportage. Det handlar om en ny rapport från trafikverket som visar att det finns stora oklarheter kring hur ingenjörerna som tagit fram hållfasthetsberäkningarna för Öresundsbron hade gått till väga och att det nu har uppdagats allvarliga sprickbildningar i bron.
Inslaget börjar med att reportern i korthet berättar om vad rapporten säger och därpå klipper man till en intervju med chefsingenjören. Journalisten ställer några inledenade kritiska frågor med utgångspunkt från rapporten och chefsingenjören svarar och försvarar sitt och teamets arbete. Han hänvisa till att han är helt säker på att det arbete de gjort är av största vikt för ingenjörsvetenskapens framsteg. Detta är han säker på eftersom han och teamet utgått från den senaste teoribildningen inom ingenjörskretsar vilken lägger stor vikt vid en ny matematisk modell för beräkning av hållfasthet som utgår från en nytolkning av de antaganden som den franska ingenjörsteoretikern Michelle Deleuze lade fram under det tidiga 70-talet och som nu fått en nytolkning inom en delvis ny teoretisk ram som ett antal inflytelserika nordamerikanska ingenjörsforskare lagt fram. Journalisten ställer egentligen inga motfrågor på denna del av chefsingenjörens förklaring men undrar dock vad ingenjören har att säga om sprickbildningen; vad beror den på och vad ska göras åt saken. Chefsingenjören menar att det måste beror på att entreprenörer och byggnadsarbetare inte ännu riktigt har tagit till sig av den nya teorin men att det som nu måste göras är att fortsätta utveckla teorin och fortsätta att applicera den i de nya stora byggnadsverk som planeras.
Kommen så här långt i reportaget har ni just kommit ned till de lite flackare delarna av bron på den danska sidan, där bron strax går över några mindre öar innan man anländer till fastlandet. Journalisten fortsätter reportaget med att ställa frågor till någon ansvarig politiker men nu har du tröttnat så du byter kanal till något med musik, andas ut och tänker att på hemvägen så tar ni nog båten istället.
Absurt? Helt orealistiskt? Elaka insinuationer?
Självklart är det löjligt att tänka sig en verklig händelse som ens kommer i närheten av detta och vi alla somnar lugnt om natten i trygg förvissning om att våra hus och broar, fordon och avloppssystem är välbyggda och välfungerande. Lika så går vi utan betänklighet till tandläkaren och låter denne tillverka en ny krona då vi bet sönder den gamla i fredags på en ”urkärnad” oliv.
Men utan att tveka skulle jag hävda att en inte föraktlig del av samhällsvetenskapen de facto fungerar likt beskrivningen ovan; diverse ”teorier” står i fokus för den ”forskning” man bedriver och i den mån man över huvud taget är intresserad av empiri så väljs den helt ut för att stärka de slutsatser man redan ”vet” är de riktigt.
Men innan naturvetarna ropar Hej! så ska vi påpeka att det finns en anledning till att rörelsen för evidensbaserad medicin startade och fyller ett syfte. Och även discipliner med stark teoretisk ballast som evolutionspsykologi drar en del oroväckande stora växlar på sådant som ”är rimligt” och som följer logiskt ur premisserna men som på intet vis går att testa.
Eftersom du läser denna tidskrift så förstår du redan att svaret på de flesta av dessa problem är evidensbasering.
Men om vi ska ta det svaret på allvar måste vi börja med att fråga oss vadå evidensbasering? Vad är det som ska evidensbaseras, hur gör man då och hur ska man över huvud taget ta sig an frågan om vad som är evidens?
Nedan kommer jag göra ett antal påstående frågor kring vad evidensbasering är eller borde vara. Självklart är sista ordet knappast sagt i och med detta men min förhoppning är att texten kan bli en utgångspunkt för vidare diskussioner.
Punkterna nedan hänger så klart ihop, i alla fall i min hjärna, men är kanske inte med nödvändighet ömsesidigt beroende av varandra i nån slags domino-mening.
·
All
forskning värd namnet måste gå att falsifiera!
Detta är så självklart att det nästan känns genant att påpeka men tyvärr är det nödvändigt. Går ett försök till förklaring inte att falsifiera så är det inte vetenskap. En förklaring som inte låter sig falsifieras ”förklarar” allt och där med inget.
Detta är så självklart att det nästan känns genant att påpeka men tyvärr är det nödvändigt. Går ett försök till förklaring inte att falsifiera så är det inte vetenskap. En förklaring som inte låter sig falsifieras ”förklarar” allt och där med inget.
·
Bevis på
evidens?
Anglicismer kan man tycka olika om. Själv är jag inte överförtjust utan föredrar det svenska ordet om ett sådant finns. Som bekant är den svenska termen för evidence bevis så varför inte tala om bevisbasering?
Av åtminstone följande anledningar är evidens och evidensbasering trots allt att föredra:
- Bevis används i svenskan i första hand inom juridiken och polisväsendet. Man talar om bevisföremål och man bevisar någons skuld och man är oskyldig till motsatsen bevisats.
- Evidens och evidensbasering är redan de termer som används, de knyter nära an till den utomsvenska diskussionen och det är svårt att se att något skulle vara vunnet (annat än för vän av ordning vad gäller anglicismer) genom att gå över till att tala om bevis och bevisbasering.
- Evidens och evidensbasering har inom det sammanhang termerna används ett delvis annorlunda begrepp än bevis. Inom de sammanhang där man använder evidens och evidensbasering är man på det klara med att dessa termer används för att förklara ett sakförhållande rörande hur säkra vi tycker oss vara på att någonting som undersökts är på ett visst sätt. I detta sammanhang utgår man från att det finns grader av evidens – så som till exempel den fyra-gradiga skala som används av SBU och andra för att ange graden av säkerhet på grundval av metaanalyser. Lika så vet man att bedömningen av styrkan i evidensgrad kan skifta i och med nya studier – både till det högre och det lägre – det vill säga att den evidens vi anser att något har för tillfället kan komma och troligen kommer att ändras då vi i framtiden vet mer.
Det är alltså rimligt att tala om evidens och evidensbasering istället för om bevis men här är det också viktigt att inte glömma bort att kommunicera vad men avser med dessa termer; att enas internt om vad som avses med evidens och evidensbasering, generellt och i specifika sammanhang, samt att förklara detta så att de som man vill ska lyssna verkligen förstår.
Anglicismer kan man tycka olika om. Själv är jag inte överförtjust utan föredrar det svenska ordet om ett sådant finns. Som bekant är den svenska termen för evidence bevis så varför inte tala om bevisbasering?
Av åtminstone följande anledningar är evidens och evidensbasering trots allt att föredra:
- Bevis används i svenskan i första hand inom juridiken och polisväsendet. Man talar om bevisföremål och man bevisar någons skuld och man är oskyldig till motsatsen bevisats.
- Evidens och evidensbasering är redan de termer som används, de knyter nära an till den utomsvenska diskussionen och det är svårt att se att något skulle vara vunnet (annat än för vän av ordning vad gäller anglicismer) genom att gå över till att tala om bevis och bevisbasering.
- Evidens och evidensbasering har inom det sammanhang termerna används ett delvis annorlunda begrepp än bevis. Inom de sammanhang där man använder evidens och evidensbasering är man på det klara med att dessa termer används för att förklara ett sakförhållande rörande hur säkra vi tycker oss vara på att någonting som undersökts är på ett visst sätt. I detta sammanhang utgår man från att det finns grader av evidens – så som till exempel den fyra-gradiga skala som används av SBU och andra för att ange graden av säkerhet på grundval av metaanalyser. Lika så vet man att bedömningen av styrkan i evidensgrad kan skifta i och med nya studier – både till det högre och det lägre – det vill säga att den evidens vi anser att något har för tillfället kan komma och troligen kommer att ändras då vi i framtiden vet mer.
Det är alltså rimligt att tala om evidens och evidensbasering istället för om bevis men här är det också viktigt att inte glömma bort att kommunicera vad men avser med dessa termer; att enas internt om vad som avses med evidens och evidensbasering, generellt och i specifika sammanhang, samt att förklara detta så att de som man vill ska lyssna verkligen förstår.
·
Språk:
termer och begrepp
Apropå evidens och bevis som term respektive begrepp så sa vi nyss att evidens har ett delvis annat begrepp än bevis. Bevis respektive evidens är termer. Eftersom de är termer inom ett fackområde (juridik respektive vetenskap) så talar man om facktermer. Alla termer har begrepp (dvs: termen är själva ordet/ljudet som vi uttalar och begreppet är den betydelse termen bär) och eftersom termerna bevis och evidens har liknande men ändå delvis skilda betydelser/begrepp så är det lämpligt att använda olika termer för att främja tydlighet och undvika missförstånd.
Detta med termer och begrepp och tydlighet står dock inte alltid så högt i kurs.
I dagligt tal använder vi ibland samma termer för olika begrepp (idealism: ”filosofisk inriktning” respektive ”att göra något för att man tror på det”) och dessutom ibland olika termer för samma begrepp (dvs alla synonymer). Men när vi talar om alldagliga saker så brukar det lösa sig ändå genom att man förstår av sammanhanget eller att man inser att man talar förbi varandra och sedan reder ut det hela. Tyvärr är detta inte alltid fallet inom vetenskapen och politiken.
Detta är i och för sig ingen tävling men ska vi ändå utnämna vinnare så tror jag nog att det är inom politiken det står värst till med användningen av väldefinierade termer och viljan att kommunicera tydligt. Ibland kan man nästan misstänka att olika politiska läger ser något slags självändamål i att tala förbi varandra genom att mena olika saker med samma ord.
På andra plats, eller kanske på delad första plats, kommer vissa akademiska discipliner inom det samhällsvetenskapliga området. Främst bland likar är de som söker sina rötter i tysk filosofi från mellankrigstiden, fransk filosofi från 60-70-telet och/eller nordamerikans samhällsvetenskap från 90-00-talet - eller oftast alla dessa då de utgör nån slags ohelig treenighet (och det var alltså dessa skolbildningar som jag alluderade på i ingressen). Akademiker med böjelser åt detta håll brukar vara starkt engagerade i att hänvisa till nämnda filosofiska inriktningar och de mest namnkunniga uttolkarna, ointresserade av empiri, rimlig metodik och att formulera testbara hypoteser och dessutom har de en förkärlek för ett språk tyngt av svårtydda glosor.
En förutsättning för en god vetenskap och evidensbaserad policy är ett språk där termer är väldefinierade och dessa definitioner väl kommunicerade.
Apropå evidens och bevis som term respektive begrepp så sa vi nyss att evidens har ett delvis annat begrepp än bevis. Bevis respektive evidens är termer. Eftersom de är termer inom ett fackområde (juridik respektive vetenskap) så talar man om facktermer. Alla termer har begrepp (dvs: termen är själva ordet/ljudet som vi uttalar och begreppet är den betydelse termen bär) och eftersom termerna bevis och evidens har liknande men ändå delvis skilda betydelser/begrepp så är det lämpligt att använda olika termer för att främja tydlighet och undvika missförstånd.
Detta med termer och begrepp och tydlighet står dock inte alltid så högt i kurs.
I dagligt tal använder vi ibland samma termer för olika begrepp (idealism: ”filosofisk inriktning” respektive ”att göra något för att man tror på det”) och dessutom ibland olika termer för samma begrepp (dvs alla synonymer). Men när vi talar om alldagliga saker så brukar det lösa sig ändå genom att man förstår av sammanhanget eller att man inser att man talar förbi varandra och sedan reder ut det hela. Tyvärr är detta inte alltid fallet inom vetenskapen och politiken.
Detta är i och för sig ingen tävling men ska vi ändå utnämna vinnare så tror jag nog att det är inom politiken det står värst till med användningen av väldefinierade termer och viljan att kommunicera tydligt. Ibland kan man nästan misstänka att olika politiska läger ser något slags självändamål i att tala förbi varandra genom att mena olika saker med samma ord.
På andra plats, eller kanske på delad första plats, kommer vissa akademiska discipliner inom det samhällsvetenskapliga området. Främst bland likar är de som söker sina rötter i tysk filosofi från mellankrigstiden, fransk filosofi från 60-70-telet och/eller nordamerikans samhällsvetenskap från 90-00-talet - eller oftast alla dessa då de utgör nån slags ohelig treenighet (och det var alltså dessa skolbildningar som jag alluderade på i ingressen). Akademiker med böjelser åt detta håll brukar vara starkt engagerade i att hänvisa till nämnda filosofiska inriktningar och de mest namnkunniga uttolkarna, ointresserade av empiri, rimlig metodik och att formulera testbara hypoteser och dessutom har de en förkärlek för ett språk tyngt av svårtydda glosor.
En förutsättning för en god vetenskap och evidensbaserad policy är ett språk där termer är väldefinierade och dessa definitioner väl kommunicerade.
·
Logik
och empiri
Om A + B så C. Om A är en galen mördare och B en brödkniv på köksbänken så måste jag C gå och ta en dusch.
All vetenskap och all kommunikation av densamma måste baseras på logik och empiri. Logik utan empiri är skolastik och empiri utan logik är meningslös.
När den medeltida skolastiken stod på sin höjdpunkt la man fram det ena beviset efter det andra rörande kristendomens sanning och olika logiskt oklanderliga slutsatser deducerade ur bibelns påståenden. Men oklanderlig logik till trots blev vi inte klokare på världen runtomkring eftersom ”empirin” i detta fall inte på något adekvat sätt svarade mot verkligheten. En modern variant av detta ser vi ofta i de ovan nämnda akademiska disciplinerna.
Tvärt om är diverse fakta inte något mer än just diverse fakta utan en logik som kopplar det ena till det andra.
Om A + B så C. Om A är en galen mördare och B en brödkniv på köksbänken så måste jag C gå och ta en dusch.
All vetenskap och all kommunikation av densamma måste baseras på logik och empiri. Logik utan empiri är skolastik och empiri utan logik är meningslös.
När den medeltida skolastiken stod på sin höjdpunkt la man fram det ena beviset efter det andra rörande kristendomens sanning och olika logiskt oklanderliga slutsatser deducerade ur bibelns påståenden. Men oklanderlig logik till trots blev vi inte klokare på världen runtomkring eftersom ”empirin” i detta fall inte på något adekvat sätt svarade mot verkligheten. En modern variant av detta ser vi ofta i de ovan nämnda akademiska disciplinerna.
Tvärt om är diverse fakta inte något mer än just diverse fakta utan en logik som kopplar det ena till det andra.
·
Eminens-based
Evidens talar för sig själv! Det spelar ingen roll vem som visat att något är på ett visst sätt, i vilken tidskrift denna nya kunskap är publicerad eller hur många andra eminenser som skriver under på att det som står i texten är korrekt. Antingen har man visat att något är på ett visst sätt eller så har man det inte och korrektheten i det visade har ingen kausal koppling till person, plats eller djur.
Självklart är det så att det i praktiken är en eller flera personer som gjort undersökningen som kommit fram till de nya korrekta resultaten (äras den som äras bör) och dessutom måste det finnas organisatoriska strukturer för hur nya påståenden ska publiceras och granskas. Men vi får aldrig förväxla dessa nödvändiga omständigheter med själva det faktum att evidens är sig själv nog.
Om du inte låter dig övertygas av det retoriska påståendet ovan så ska jag få be att tillägga att det finns en anledning till att man inom den evidensbaserade medicinen startat nya tidskrifter (så dom PLOS ONE https://journals.plos.org/plosone/) och försöker verka för att alla resultat ska publiceras (för att undvika publikationsbias) och för att det är i den öppna granskning och med nya korrigerande studier utvecklingen sker. Peer-review i all ära men Macchiarinis artiklar slank visst igenom…
Evidens talar för sig själv! Det spelar ingen roll vem som visat att något är på ett visst sätt, i vilken tidskrift denna nya kunskap är publicerad eller hur många andra eminenser som skriver under på att det som står i texten är korrekt. Antingen har man visat att något är på ett visst sätt eller så har man det inte och korrektheten i det visade har ingen kausal koppling till person, plats eller djur.
Självklart är det så att det i praktiken är en eller flera personer som gjort undersökningen som kommit fram till de nya korrekta resultaten (äras den som äras bör) och dessutom måste det finnas organisatoriska strukturer för hur nya påståenden ska publiceras och granskas. Men vi får aldrig förväxla dessa nödvändiga omständigheter med själva det faktum att evidens är sig själv nog.
Om du inte låter dig övertygas av det retoriska påståendet ovan så ska jag få be att tillägga att det finns en anledning till att man inom den evidensbaserade medicinen startat nya tidskrifter (så dom PLOS ONE https://journals.plos.org/plosone/) och försöker verka för att alla resultat ska publiceras (för att undvika publikationsbias) och för att det är i den öppna granskning och med nya korrigerande studier utvecklingen sker. Peer-review i all ära men Macchiarinis artiklar slank visst igenom…
·
Evidensbasering
handlar om metoder
För några är detta att sparka in världens mest öppna dörr och för andra kanske en helt ny tanke men evidensbasering handlar om metoder. Metoder, och så klart om data och om tolkning av resultat. Och om frågor. Men metoderna är det som ”gör det”.
Ja, jag säger metoderna.
”Den vetenskapliga metoden” talas det gärna om och då så gott som alltid i singularis. Men det finns inte bara en metod. Där emot finns det många likheter mellan undersökningar av hög kvalitet, så som;
- att de data som används som underlag är av god kvalitet,
- att man använder experiment, randomisering, kontrollgrupper, blindning (när så är möjligt) mm,
- att resultaten tolkas i ljuset av tidigare utförd god vetenskap alternativt är logiskt oklanderligt och empiriskt visat.
Eftersom det i denna tidskrift handlar om evidensbasering inom främst samhällsvetenskapen och policyområdet så ser metoderna inte exakt ut som inom till exempel fysiken. Inte heller ser metoderna ut som inom den evidensbaserade medicinen men denna är dock den utgångspunkt och ledstjärna från vilken metodutvecklingen inom vårt område utgår från.
Det är metoden som ger oss resultatet men det är metodutvecklingen som är den svåra biten. Att arbeta sig fram till tillförlitliga metoder för att undersöka vad ett visst policyförslag kommer att leda till är ofta en mödosam process och det finns många grund man kan gå på (och apropå metod för evidensbaserad policy; läs gärna artikeln i detta nummer om Nudging och fimpar).
Här är dock inte platsen att reda ut vilken typ av metod som är bäst lämpad för alla olika områden som går att undersöka men som en allmän utgångspunkt vill jag hävda följande:
God vetenskap och evidens kommer ur tillförlitliga data som behandlas med tillförlitliga metoder och genomgår tillförlitliga tolkningar. Vad som är tillförlitligt inom respektive del och respektive område är det som vi måste komma fram till. En del jobb är redan gjort med det finns fortfarande mycket kvar att göra och många befintliga akademiska praktiker som måste ersättas.
Vidare bestäms metoden som ska användas av i första hand den fråga man vill besvara. All vetenskap besvara en fråga men det finns inga ”vetenskapliga frågor” bara mer eller mindre intressanta frågor i förhållande till det man vill ta reda på, samt framförallt bättre och sämre metoder. Först när frågan är formulerad kan vi avgöra vilket material (vilka data) som behövs och vilken metod som kan leda till att frågan går att besvara.
Den evidensbaserade processen går alltså till så att vi först måste formulera en fråga. För att besvara frågan måste vi sedan ha ett tillförlitligt datamaterial och på detta material applicerar vi tillförlitliga metoder.
Resultatet måste sedan genomgå någon typ av tillförlitlig tolkning – en tolkning som i sig sedan tidigare är evidensbaserad och/eller följer av logik och empiri.
Et voilà: ut kommer evidens.
För några är detta att sparka in världens mest öppna dörr och för andra kanske en helt ny tanke men evidensbasering handlar om metoder. Metoder, och så klart om data och om tolkning av resultat. Och om frågor. Men metoderna är det som ”gör det”.
Ja, jag säger metoderna.
”Den vetenskapliga metoden” talas det gärna om och då så gott som alltid i singularis. Men det finns inte bara en metod. Där emot finns det många likheter mellan undersökningar av hög kvalitet, så som;
- att de data som används som underlag är av god kvalitet,
- att man använder experiment, randomisering, kontrollgrupper, blindning (när så är möjligt) mm,
- att resultaten tolkas i ljuset av tidigare utförd god vetenskap alternativt är logiskt oklanderligt och empiriskt visat.
Eftersom det i denna tidskrift handlar om evidensbasering inom främst samhällsvetenskapen och policyområdet så ser metoderna inte exakt ut som inom till exempel fysiken. Inte heller ser metoderna ut som inom den evidensbaserade medicinen men denna är dock den utgångspunkt och ledstjärna från vilken metodutvecklingen inom vårt område utgår från.
Det är metoden som ger oss resultatet men det är metodutvecklingen som är den svåra biten. Att arbeta sig fram till tillförlitliga metoder för att undersöka vad ett visst policyförslag kommer att leda till är ofta en mödosam process och det finns många grund man kan gå på (och apropå metod för evidensbaserad policy; läs gärna artikeln i detta nummer om Nudging och fimpar).
Här är dock inte platsen att reda ut vilken typ av metod som är bäst lämpad för alla olika områden som går att undersöka men som en allmän utgångspunkt vill jag hävda följande:
God vetenskap och evidens kommer ur tillförlitliga data som behandlas med tillförlitliga metoder och genomgår tillförlitliga tolkningar. Vad som är tillförlitligt inom respektive del och respektive område är det som vi måste komma fram till. En del jobb är redan gjort med det finns fortfarande mycket kvar att göra och många befintliga akademiska praktiker som måste ersättas.
Vidare bestäms metoden som ska användas av i första hand den fråga man vill besvara. All vetenskap besvara en fråga men det finns inga ”vetenskapliga frågor” bara mer eller mindre intressanta frågor i förhållande till det man vill ta reda på, samt framförallt bättre och sämre metoder. Först när frågan är formulerad kan vi avgöra vilket material (vilka data) som behövs och vilken metod som kan leda till att frågan går att besvara.
Den evidensbaserade processen går alltså till så att vi först måste formulera en fråga. För att besvara frågan måste vi sedan ha ett tillförlitligt datamaterial och på detta material applicerar vi tillförlitliga metoder.
Resultatet måste sedan genomgå någon typ av tillförlitlig tolkning – en tolkning som i sig sedan tidigare är evidensbaserad och/eller följer av logik och empiri.
Et voilà: ut kommer evidens.
Och så tar vi det första en gång till:
·
All
vetenskap måste gå att falsifiera.
Inga kommentarer:
Skicka en kommentar