torsdag 21 april 2016

Reliabilitet, validitet

Innan man är van och har lärt sig en viss jargong eller de ämnesspecifika ord som används inom ett område kan just dessa ämnesspecifika ord ställa till med problem i förståelsen. Vissa ämnesspecifika ord används i mitt tycke utan att de egentligen tillför mycket annat till ämnet än en "air" av seriositet. Medan andra termer är centrala för ämnet och kunskapsutvecklingen.
Två termer som är mycket centrala i det vetenskapliga hantverket men dessvärre bringar en del oreda i tänkandet (i alla fall hos mig) på grund av hur de förklaras i den vanligt förekommande metodlitteraturen är reliabilitet och validitet.

Egentligen borde det inte vara så komplicerat. Om man utgår från det engelska originalet så blir det som start ganska tydligt:
Reliable = tillförlitlig, vederhäftig, beprövad, pålitlig.
Valid = giltig, legitim.  

Men: Att tillförlitligt och giltig är ord som ligger ganska nära varandra i betydelse gör i och för sig att man kan börja ana att det hela kanske kan bli mindre tydligt än vad det först verkar.
Och om man sedan i sitt sökande på nätet råkar hamna till exempel på Mälardalens högskolas sidor för metod[1] så hittar man där inte mindre än 9 typer av validitet (inre, yttre, intern, extern, begrepps-, kriterie-, construct, användar- och kommunikativ validitet). Sidans förklaringar är korta men riktigt bra så det är inte problemet men jag lutar nog ändå åt att man blir mer förvirrad är hjälpt av att samma term kan få så många olika betydelser. Det vore i mitt tycke bättre om man kan använda andra termer i flera av dessa fall så att möjligheten till missförstånd minskar.

Nå. Här följer i alla fall ett lite kortare försök till grundläggande förklaring av de lyckliga tu:
Både reliabilitet och validitet är termer som syftat till att bedöma kvaliteten på den empiri som är tänkt att användas i en undersökning. Tänk dig att du ska undersöka ett ämne, det kan vara vilka redskap som var vanliga i bondehushållen i Bohuslän på 1600-talet eller hur konsumtionen av sociala medier påverkar pensionärers psykosociala hälsa. Oavsett vilket ditt ämne än är så kommer du behöva ta ställning till vilket material, vilken empiri, som du skulle vilja använda för att försöka besvara dina frågor och därefter försöka avgöra kvaliteten på detta material. 
I fallet med de Bohuslänska böndernas redskap så kanske materialet/empirin är självskriven på grund av att det bara finns ett material att tillgå - som till exempel en samling bouppteckningar som någon nitisk lokal makthavare sammanställt och som bevarats genom århundradena. 
Nu måste du fråga dig om du kan använda detta material för att få svar på dina frågor: går materialet att lita på, vilken är dess reliabilitet? För olika ämnesområden finns olika standarder för att bedöma detta. Inom historiska studier vill man gärna använda källkritiska metoder för att bedöma just hur pass trovärdigt materialet/empirin är. Består empirin av intervjuer med pensionärer så måste man fråga sig just hur trovärdiga intervjusvaren är. Finns det anledning att tro att de intervjuade rakt av ljugit eller att de förskönat, ändrat eller glömt bort viktiga delar och att därför de svar man har fått inte riktigt går att lita på?

Validitet brukar användas främst i studier där man mäter någonting, som tillexempel folkhälsa eller kunskap om ett ämne. Om vi ska mäta kunskapen om ett ämne så vill vi troligen att vår adept ska visa upp denna kunskap. Men hur ska kunskapen visas upp? Ska vi ha någon typ av prov kanske? Och om vi bestämmer oss för att vi ska använda ett skriftligt prov då måste vi sedan fråga oss om svaren som vi får verkligen avspeglar adeptens kunskaper – är vår mätning giltig/valid? Kommer vi fram till att mätningen har god validitet (mätningen avspeglar faktiskt det vi vill mäta) då kan vi gå vidare och fråga oss om adepten kanske har fuskat eller på annat sätt förvrängt svaren – är mätningen trovärdig/har den god reliabilitet?
I ett annat sammanhang ser detta något annorlunda ut även om principen är den samma. Säg till exempel att vi vill mäta förväntad livslängd med bibehållen god hälsa hos en grupp. Här kan man ju lätt tänka sig ett otal variabler att undersöka; kostvanor, vanor kring rökning och andra missbruk, rörelsemönster, stress i vardagen eller på jobbet, socialt stöd, familjeförhållanden, uppväxtvillkor, utsatthet för miljögifter eller olycksrisker, etc. Om vi vill göra vår undersökning måste vi först bestämma oss för vilka parametrar vi vill undersöka och sedan för hur vi ska samla in denna information. Säg att vi vill se på kostvanor och att vi inte har så mycket pengar till vårt förfogande. Då kanske valet av metod för att samla in vårt material faller på någon typ av enkät där vi ber personerna redogöra för sina kostvanor och så genomför vi denna enkät tre gånger under en period på sex år.
Möjligheterna att denna studie ska leda till tämligen tunna resultat är många; Kostvanor säger inte allt om personernas hälsa men hur ska vi avgöra hur mycket? Hur vet vi att de svar som anges är sanningsenliga? Vet vi hur svaren (om de nu kan antas stämma) ska tolkas? Hur stort blir bortfallet av svaranden? …
Att validiteten, och reliabiliteten, i denna studie behöver kontrolleras noggrant tycks tämligen klart.
I en mer avgränsad studie, låt oss säga hur antalet konsumerade portioner fet fisk påverkar någon hälsoparameter, blir frågan om validitet och reliabilitet i princip inte aktuell så länge mätningen av antalet portioner och den valda hälsoparametern sker med noggrannhet. Det som blir viktigt att fundera på är de slutsatser som kan dras och eventuella generaliseringar som kan göras av de fakta man kan konstatera.


Empirins validitet och reliabilitet måste, så vitt jag kan se, bedömas inom alla ämnen. Är empirin på något vis falsk eller missvisande så kan man ju inte använda denna till att dra några slutsatser alls om verkligheten. Men hur dessa frågor ska hanteras är olika för olika områden och olika typer av studier.
Eftersom dessa termer är dåligt definierade, eller kanske snarare används så att de får täcka diverse olika begrepp, så är detta försök till förklaring långt från heltäckande. Men mitt förslag är att Du om du tar del av en studie, eller genomför en själv, tar frågorna kring trovärdighet och tillförlitlighet på allvar och noga undersöker ditt material eller hur den studie du läser hanterar dessa frågor. Men hur det görs inom olika områden är olika och därför gäller inte samma hållpunkter för en historisk studie, som en medicinsk, en sociologisk eller en inom ekonomi eller teknik.
Glasklart?!

Upplagd av
Etiketter: ,

Inga kommentarer:

Skicka en kommentar

Prenumerera på: Kommentarer till inlägget (Atom)