.
Är homeopati bättre än placebo?
.
Den här bloggen har flera gånger snuddat vid frågor kring alternativ medicin, och kanske framför allt om skeptikernas hatobjekt nummer ett, nämligen homeopati. Jag skall nu, som tidigare utlovats, kommentera det vetenskapliga forskningsläget om homeopati. Framför allt är mitt fokus på meta-analyser där man ställt sig frågan om homeopati är bättre än placebo.
Historien börjar på 1990-talet när begreppet ”evidens-baserad medicin” blev allmänt bekant. Dess princip är att samla all befintlig litteratur på ett område och göra en sammanfattande statistik. Alla behandlade patienter slås samman så att man får en enda stor studie att räkna på (meta-analys). Då kan man uttala sig om terapier där de enskilda studierna kanske varit för små för att ge ett tydligt svar om en behandlings värde.
Lindes studie i Lancet 1997
En meta-analys om homeopati publicerades av Klaus Linde och medarbetare i Lancet 1997 (Lancet 1997; 350: 834-43). Genomgången var ett samarbete mellan tyska och amerikanska forskare. Man sökte i databaser och fann 186 studier om homeopati, och av dessa uppfyllde 119 stycken kvalitetskriteriet att vara randomiserad dubbel-blindad och/eller randomiserad studie där homeopatiskt läkemedel jämfördes med placebo (verkningslöst sockerpiller). Dubbel-blindad betyder att varken patient eller terapeut vet om det homeopatiska medlet eller placebo ges. Randomiserad betyder att man låter slumpen avgöra vilket av dessa den enskilde patienten skall få.
Av de 119 studierna kunde data som möjliggjorde sammanfattande statistik bara fås från 89. Resultatet från dem visade att homeopatiska medel är 145% bättre än placebo (alltså mer än dubbelt så bra). Studien redovisar i överskådliga bilder vilka sjukdomsgrupper som studerats, och man kan lätt se var homeopati har effekt och när den inte har det.
Något som fångade kritikernas uppmärksamhet var att Linde berättade att effekten var något svagare för de 26 studier som hade högst kvalitet. Men effekten var fortfarande 66% bättre än placebo, och med god marginal statistiskt säkerställt. Det finns också något som heter publikations-bias som betyder att man har större chans att få en studie publicerad om en effekt påvisas än om den inte påvisas. Linde gjorde en korrektion för publikations-bias, men fortfarande var homeopati 78% bättre än placebo.
Det tycktes som om den samlade litteraturen nu var genomgången och resultatet tydligt – effekten av homeopati är bättre än placebo-effekten. Lindes studie innebar dock en stor utmaning för den skolmedicinska världen, som stördes av bristen på rationell förklaringsmodell. Dessutom såg alla läkemedelsföretag en trist konkurrent i denna terapi. Inte undra på att andra nu började göra om Lindes analys. Det man framför allt sköt in sig på var att effekten av homeopati tycktes vara svagare ju högre kvalitetskrav som studien uppfyllde.
Cucherats omgjorda meta-analys
M. Cucherat och medarbetare publicerade en ny analys av homeopati-litteraturen tre år senare (Eur J of Clin Pharmacol 2000; 56: 27-33). Nu börjar trend som jag är kritisk till, och det är att så många studier plockas bort av en eller annan anledning. Först tog forskarna bort alla studier som handlar om prevention. Studier där man t.ex. vill förhindra hösnuva fick alltså inte vara med i Cucherats meta-analys av om homeopati fungerar bättre än placebo.
Av de 118 studier som kvarstod, och som alla var dubbel-blindade och randomiserade, plockade man därefter bort 101 som man inte tyckte var tillräckligt bra. Åttiofem procent av de studierna som uppfyllde de urspungliga kvalitetskriterierna förbises alltså. Av de 17 kvarvarande studierna så visade 11 (65%) en statistiskt säkerställd fördel för homeopati. Endast 3 visade en tendens till att placebo var bättre. Författarna poolade patienterna från de 17 studierna. Resultatet visade att homeopati verkligen är statistiskt överlägset placebo bättre (risken var bara 0,4 på tiotusen att fördelen skulle kunna förklaras av en slump).
Men – om man väljer ut bara de 5 studierna där minst antal patienter avbröt studien i förtid så uppnår inte resultatet statistisk signifikans. Även med denna selektion, jag har tappat bort räkningen på alla exklusioner, så finns en risk på 8 på 100 att homeopatiska medlets effekt kan förklaras av en slump. Inom medicinen vill man uppnå en risk som är mindre än 5 på 100. Men vi ser till alla de 17 studier som uppfyllde de från början uppställda kvalitetskraven så var risken så liten som 0,4 på tiotusen att effekten av homeopati kan förklaras av en slump.
I Cucherats metod-del visar det dessutom att man inte, vilket läsaren gärna tror, slagit ihop alla patienter och gjort en enda stor analys, inte ens av de 5 studier man särskilt ville framhäva. Istället har författarna slagit samman de enskilda studiernas signifikansnivåer på 7 olika sätt och erkänner i det finstilta att man presenterar den ”mest konservativa” summeringen, alltså den som mest missgynnar effekten av homeopati. Om man valt en mindre konservativ metod hade sannolikt även de 5 utvalda studierna visar statistisk signifikans till fördel hur homeopati. Författarna vet nog svaret, men vi får inte veta det. Bara det låter skumt.
Min kommentar är att den här genomgången visar att homeopati har effekt. Modesta bortfall av inkluderade patienter behöver inte alls göra en studie ogiltig, vilket man implicerar här. Att så inte är fallet hade Linde dessutom redan visat i en re-analys av sitt material studie som publicerades året innan (se nedan). Det sista exklusions-steget, från 17 till 5 studier, skedde på felaktig tveksam grund.
Att börja plocka bort studier som uppfyller på förhand bestämda kvalitetskriterier är också dubiöst. Dels uppstår ett visst mått av gottfinnande i valt av selektion. Att välja ut kanske 5 studier och påstå att dess resultat bäst representerar flera hundra studier innebär också att slumpmässiga faktorer trätt in. Det är nämligen osannolikt att homeopati är effektivt vid alla sjukdomstillstånd. När man selekterar oberoende av vilket sjukdomstillstånd som behandlas så kan det bland de 5 studierna uppstå en relativ övervikt för sjukdomstillstånd där homeopati fungerar väldigt bra, mindre bra eller inte alls. Endast en liten skevhet i selektionen kan då grovt förvränga omdömet om helheten. Dessutom – ju färre studier man inkluderar ju mindre är chansen att en faktisk skillnad går att belägga statistiskt (alltså att risken är mindre än 5 på 100 att resultatet kan förklaras av en slump). Dessa tre skäl talar emot användande av omfattande selektion (>90%av materialet) vilket, som vi skall se, tämligen genomgående använts när effekten av homeopati förkastas.
Enligt min uppfattning är det bästa sättet att hantera kvalitetsbredd i studier att använda ett viktnings-förfarande. De bästa studierna ges då relativt sett större betydelse. Men att säga att vissa patienter inte alls får vara med alls trots att grundkraven uppfyllts (dubbel-blind ocj randomiserad studie) förstör hela idén med en meta-analys.
Jag ser en tendens hos Cucherat att vilja missgynna homeopati. Man anger inga odds ratio (effektstyrka) utan bara signifikansnivåer, man väljer en statistisk metod som explicit missgynnar homeopati, och budskapet avser bara en sub-grupp på mindre än 5% av de tillgängliga studierna som har valts så att resultatet precis inte blir signifikant. Exklusionen grundar sig på ett antagande om effekten av drop-outs, vilken redan av andra författare visats vara felaktig i precis det material man undersökte.
Lindes stratifierade re-analys
Redan året innan, 1999, hade alltså K Linde utvärderat effekten av studiekvalitet på effekten av homeopati genom att stratifiera (skikta) sitt urspungliga Lancet-material (J Clin Epidemiol 1999; 52: 631-6). Enligt min uppfattning har han gjort samma sak som Cucherat, fast bättre. Han har exkluderat studier i sekvens från sin ursprungliga grupp om 89 beroende på om de är explicit randomiserade, dubbel-blindade, har komplett uppföljning (dvs. få drop-outs) m.m. Här får man alla odds ratio och konfidensintervall serverade, och alla analyser i t.ex. Tabell 1 visar att homeopati är ungefär dubbelt så bra som placebo.
I nästa steg delar Linde in sina studier efter kvalitet, som vanligtvis graderas i s.k. Jadad score från 0 till 5. Här visar samtliga sub-analyser att effekten av homeopati är statistiskt säkerställd, oaktat studiens kvalitet. De allra bästa studierna visar till och med starkare siffror än de näst bästa!
Men sedan dyker en beräkning upp i Tabell 2 som kritikerna hungrigt satt tänderna i. En medarbetare i Lindes grupp hade hittat på ytterligare en kvalitetsskala, och det innebär att man inte enbart kunde dela in studierna på den konventionella Jadad-skalan från 0 till 5 utan även på en skala från 0 till 7. Då uppstod ett statistiskt fenomen beroende på ”power” – när så många smågrupper skapats blir underlaget för litet inom varje subgrupp för att precis varje enskild grupp skall uppnå statistisk signifikans. När Linde strimlar studierna på det viset är de allra ”bästa” studierna, alltså de som uppnått kvalitetssiffran 7, fortfarande 55% bättre än placebo men konfidensintervallet blir inte signifikant (dvs. omfattar 1.0). Först när han lägger på 2 studier till, och alltså värderar de med kvalitetssiffrorna 6 eller 7, så blir homeopati dubbelt så bra som placebo, och skillnaden är återigen statistiskt säkerställt – helt enkelt därför att underlaget nu är lite större.
Vantolkningen som gjorts av detta är att de bästa homeopatistudierna visar att homeopati saknar effekt. Så skriver bl.a. Edzard Ernst i sin genomgång av tidigare meta-analyser 2002, som jag skall diskutera i nästa blogg. Det är ju fel eftersom homeopati är 55% bättre än placebo. Att konfidensintervallet plötsligt omfattar 1.0 beror på att materialet hamrats sönder i smågrupper. Nittiofem procent av materialet är ju borta när Linde gör just den här beräkningen.
Intressant nog finner Linde att ofullständig uppföljning, eller många drop-outs, inte hade någon betydelse för utfallet – vilket var precis det skäl som Cucherat använde för att minska antalet ”bra” homeopati-studier från 17 till 5 med följden att homeopatins värde precis inte blev statistiskt säkerställt. Den exklusionen äger alltså inte giltighet enär Cucherat och Lindes analyser måste vara grundade på i stort sett samma material. Det finns mycket tro kring kvalitetsmått, och individuella tolkningar kan ges ibland stort spelrum.
Min bedömning av Lindes analys är att de kvalitetsmässigt allra bästa studierna visar att homeopati visserligen inte är 145% bättre än placebo, men att effekten borde stanna vid 55%-75%. Det är en skillnad mot Lancet-studien 1997, men inte en avgörande skillnad. Effekten av homeopati är ju fortfarande statistiskt säkerställd så länge man inte strimlar materialet i pytte-små grupper. Då uppstår ett förutsägbart problem med materialets ”power” vilket är ett välkänt begrepp i forskarkretsar. På samma grund skulle man kunna invalidera vilken meta-analys som helst, bara subgrupperna görs tillräckligt små.
Personligen anser jag att det är tveksamt att överhuvudtaget dra slutsatser på grund av konfidensintervall i subgrupper som omfattar 5% eller mindre av ett totalmaterial. Åtminstonde kan man inte, på grundval av det, extrapolera resultatet till helheten. Där kan man lätt bli lurad att förbise effekter som faktiskt finns. Det är istället odds ratio för subgrupperna som är det intressanta. De möjliggör en bedömning av vilka studier som bidragit till slutresultatet, som bör vara en värdering byggd på samtliga eller åtminstonde majoriteten av patienterna. Kriterierna för exklusion skall vara fastställda i förväg och inte modifieras så snart man finner att resultatet inte blir det man hoppades på.
Halvvägs summering
Så här långt – klar fördel för att homeopati fungerar. För att uppnå ett annat resultat får man strimla litteraturen i små subgrupper så att den statistiska signifikansen fläckvis går förlorad. Eller också får man selektera materialet så att 95% av materialet försvinner. Då kan slumpmässiga effekter avgöra om homeopatin förefaller vara bra eller inte bra beroende på vilka sjukdomstillstånd som behandlas i det lilla stickprov man till sist gör statistik på. Det är inte alls säkert att så små stickprov är representativa.Men skall senare författare kunna knäcka homeopatin?
Edzard Ernsts översikt
Edzard Ernsts översikt av litteraturen från 2002 (Br J Clin Pharmacol 2002; 54: 577-582) är, sin titel till trots, ingen meta-analys utan en review-artikel. Han refererar till de olika uppföljningar och re-analyser som gjorts av Lindes studie i Lancet från från 1997. Ingen statistisk sammanvägning av materialet är gjort. Hur är det då med Edzard Ernsts förmåga att värdera litteraturen?
Jag har i en tidigare blogg kritiserat just Ernst för att vara tendentiös. Han har satt i system att utföra meta-analyser av olika alternativmedicinska terapier och av olika skäl exkludera 95-99% av materialet. Även om de kvarvarande studierna visar att en behandlingseffekt är statistiskt säkerställd så avfärdar han den ändå. Alltid hittar han något skäl! Och det mönstret följer han även här.
Vi skall nu se vad Ernst säger om Cucherats analys, som ju visade att risken bara var 0,4 på tiotusen att homeopati saknar effekt. Jo, han skriver att författarna inte tyckte att beviset var särskilt starkt! Det finns ”visst evidens” men inte mer. Det är en alldeles för klent hållen slutsats, och det borde Ernst ha begripit.
Ernst har listat Lindes re-analys från 1999 med kommentaren att ”de bästa studierna visar ingen fördel för homeopati”. Det stämmer ju inte, för de bästa studierna var 55% bättre än placebo. En klokare person hade förstått den statistiska försvagningen är ett resultat av att stratifiering så långt driven som till 8 subgrupper. Om vi istället stratifierat till 7 subgrupper uppstod ju signifikansen! Jag kan försäkra att seriösa epidemiologer hade dragit en helt annan slutsats än den Ernst gör här. Som vi diskuterat i den första bloggen är Lindes huvudnummer den sekventiella analysen, där alla data visar att homeopati har effekt. Alla beräkningar med Jadad score, som är kutym att använda vid kvalitetsbedömningar, visade ju också att homeopati är effektivt. Men Ernst framställer Lindes re-analys som väsentligen till nackdel för homeopati, och det är falskt.
Så här behandlar Ernst en meta-analys av WB Jonas (Rheum Dis Clin North Am 2000; 26: 117-123) som visar att homeopati är dubbelt så bra som placebo vid reumatiska sjukdomar. Resultatet var dessutom väl statistiskt säkerställt. Jo, han kritiserar meta-analysens evidensvärde därför att man inte kunnat påvisa tillräckligt övertygande effekt vid någon specifik reumatisk sjukdom. När resultatet inte passade så byter Ernst sålunda frågeställning från den ursprungliga, som är huruvida homeopati är bättre än placebo.
Ernst medverkar själv i tre re-analyser av Lindes material. I sin första, som var en snabb replik på Lindes studie i Lancet, skalade han bort nästan allt underlag som fanns. Fem (!) studier där ”klassisk” homeopati användes i extremt höga utspädningar studerades utan att någon effekt stod att finna. Vid en snabb screening kan jag inte finna tidskriften Perfusion på nätet så jag kan inte kommentera detaljer i studien. Det låter dock som en märklig tidskrift att publicera en studie om homeopati i.
Därefter publicerade Ernst år 2000 en genomgång av Lindes 89 studier och gjorde en linjär regression av alla studier med olika kvalitets-mått (Jadad-score) från 1 till 4 och drog slutsatsen att homeopati skulle sakna effekt för de bästa studierna, alltså med ett Jadad-score på 5. Varför Ernst inte genomförde en analys av studierna som hade Jadad 5 från början känns konstigt. Det hade nämligen Linde själv gjort året innan (i J Clin Epidemiol, se ovan). De allra bästa studierna uppvisade faktiskt kraftfullare effekt till förmån för homeopati än de näst bästa studierna. Just det understryker en gammal statistisk sanning, nämligen att linjära regressioner kan vara missvisande om man rör sig utanför det intervall som regressionen bygger på.
När man ser en plot mellan Jadad score och odds ratio för homeopati (Lindes re-analys, Figur 1) så framstår spridningen som så stor att jag personligen aldrig skulle våga extrapolera något utifrån det sambandet. Det visste förstås Ernst, men han bröt mot den regeln för att få fram sin självklara poäng, nämligen – som alltid – att alternativmedicin inte fungerar. Slutsatsen av Ernsts genomgång är också att materialet inte ger ”sund evidens” för användning av homeopatiska mediciner.
Min slutsats är återigen att Ernst är tendentiös. Hans artikel sägs vara en ”meta-analys av meta-analyser” men det är ju ingen meta-analys utan en review-artikel. Han har själv genomfört 3 stycken re-analyser av Lindes material men uppvisar har ett uppenbart intresse av att kullkasta dennes resultat. Det jag själv har läst, och som refereras av Ernst, finner jag misstolkat. Idén med den linjära regressionen är det mest uppenbara försöket att lura läsarna – den genererade dessutom en felaktig slutsats, och borde därför inte ha tagits med i review-artikeln överhuvudtaget.
Detta är alltså den ena genomgången av litteraturen som Dan Larhammar hänvisar till som ”bevis” för att homeopati är ”bluff” (hårda ord som bör undvikas i vetenskapliga sammanhang). Jag tycker att Dan Larhammar skall spola Ernst som rättesnöre för vad som är sant och falskt inom vetenskapen. Artiklar av Edzard Ernst bör generellt sett lämnas utan avseende. Han har så uppenbart partisk att det han skriver inte är tillförlitligt.
Shangs studie i Lancet 2005
Den andra genomgången av litteraturen som Larhammar hänvisar till är en meta-analys som publicerades i Lancet några år senare (Lancet 2005; 366: 726-732). Den är betydligt mer seriös än Ernsts review-artikel men också mer svårläst.Meta-analysen är designad för att jämföra homeopati med skol-medicinsk terapi. En intressant slutsats är att homeopatiska studier överlag har bättre kvalitet än skolmedicinska studier. Det omvända argumentet användes tidigare av M. Cucherat (se min förra blogg) för att medvetet förminska värdet av den höggradigt signifikant positiva effekten av homeopati. Att studier om homeopatika överlag skulle hålla låg kvalitet tycks alltså inte vara sant.
Shang fortsätter vägen som Cucherat påbörjade, nämligen att exkludera nästan allt material. Homeopati-studier togs först bort både på grund av dåligt upplägg eller att de inte matchade någon skolmedicinsk studie. Men ganska många (drygt 100) dubbel-blindande och randomiserade studier blev ändå kvar. De allra flesta homeopati-studierna (alla utom 21) togs bort därför att man ansåg det fanns inkompletta uppgifter om hur det slumpmässiga urvalet till behandling (homeopati eller placebo) gick till.
Den här exklusionen är jag ganska kritisk till – det är faktiskt först på de allra senaste åren som man börjat kräva redogörelse för hur randomiseringen gått till. Att man inte gjort i alla studier kan handla om tradition snarare än att studien genomförts på ett undermåligt sätt. Detta bekymmer borde man istället ha löst genom att statistiskt vikta studierna. Nåväl, genom detta exklusionskriterium, som alltså plötsligt sopar bort majoriteten av forskningen kring om homeopati, har man blivit av med, får jag förmoda, de allra flesta av de äldre studierna.
Av de 21 kvarvarande studierna som uppfyllde alla kvalitetskrav och kriterier får vi tyvärr inte veta något. Författarna exkluderar nämligen ytterligare 13 studier och får kvar bara 8 stycken. Författarna tror att de studier som har lägst standardfel borde vara mest tillförlitliga, och grundar sina beräkningar på dem. Shang redovisar ett odds ratio på 0.88 men har vänt på siffrorna, så att de 8 kvarvarande studierna endast visar att homeopati är 14% mer effektivt än placebo. Det associerade konfidensintervallet blir inte statistiskt säkerställt, vilket knappast är överraskande när man exkluderat 93% av de studier som uppfyllde de på förhand uppställda kvalitetskraven.
I Shangs studie har man struntat i Jadad-score utan exkluderar alltså friskt. För att värdera bias används något som kallas ”funnel-plot”. Man ritar upp odds ratio på x-axeln och analysens standardfel (som är en del av konfidensintervallet) på y-axeln. Standardfelet blir lägre främst i stora studier men minskar också om behandlingseffekten är enhetlig. Funnel-plot för både homeopati och skolmedicinsk behandling antyder att bias finns mellan studier som har stora och små standardfel. Funnel-plots bygger på en teori om att odds ratio i små studier har större variation än stora. Asymmetri i plotten anses visa graden av bias.
När jag tittar på den ”avgörande” figuren i Shangs studie, som är övre delen av Figur 2, så visar den att studierna som har allra högst standardfel (kring 0,2 – skalan går till 1,6) ligger ganska nära odds ratio på noll. Men om jag bara tar mig lite, lite längre ner på skalan (till 0,3), så infaller en hel drös med studier vars odds ratio ligger rejält på den positiva sidan för homeopati. Om Shang hade ökat antalet studier från 8 till 15, eller varför inte till alla 21 av de allra ”bästa” studierna (han hade ju ändå exkluderat drygt 4/5 av materialet), så hade fördelen för homeopati blivit betydligt högre än 14%. Sannolikt hade den också blivit statistiskt säkerställd. Att Shang inte rapporterat vad resultatet hade blivit även för alla de 21 bästa studierna analyserats tyder på författar-bias, dvs. att författarna inte är objektiva utan medvetet utesluter potentiellt viktiga resultat. En uträkning grundad på de 21 bästa studierna har författarna säkerligen gjort (vore konstigt annars) men man har valt att inte rapportera det.
Meta-analysen i Lancet 2005 väcker många frågor. Författarna förklarar inte övertygande varför man bara räknade på 8 studier. Varför inte 15? Varför inte alla 21 som ansågs vara allra ”bäst”? Varför måste bara de 8 största studierna vara ”bäst” och få avgöra vad som är sant och inte? Vilka var de 8 studierna? Varför redovisas inte all statistik? Behöver en studie uteslutas som ovetenskaplig enbart för att det inte finns en explicit redogörelse för hur randomiseringen gick till? Varför inte använda viktning istället?
Till sist kan man fråga sig om vilken behandlingseffekt man kräver av homeopati. Huruvida 14% är dåligt eller acceptabelt är en medicinsk bedömning. Det beror förstås på vilken åkomma man behandlar. För många konventionella mediciner som används idag behöver inte effekten vara större än så. Siffran kan också vara resultatet av selektion beroende på vilka åkommor som ingick i det lilla stickprovet om 8 studier. Andra som gjort seriösa beräkningar av effekterna av bias och olika grader av kvalitet på utfallet har ju fått en betydligt högre siffra till fördel för homeopati. Men att 14% inte blir statistiskt säkerställt kan faktiskt vara ett ”power-problem” – som vi redan sett faller signifikanserna lätt bort när man tagit bort så mycket av underlaget att nästan allt försvunnit. Ju större underlag, ju större chans att säkerställa små skillnader. Ju mer material man plockar bort, ju mindre chans.
Det är spelandet med siffror, selektion, exklusion och bias-beräkningar som gör meta-analyser till en potentiell lekstuga för epidemiologer och statistiker. Med tyckande i högsätet drar personliga åsikter lätt resultatet åt ett visst håll. Jag har alltid hävdat att meta-analyser ger väldigt fritt spelrum för författarnas trosuppfattningar och manipulationer, medan läkemedelsföretagens kliniska prövningar ger minst spelrum åt sådana styrningar. Vad kan då konkluderas?
Sammanfattande bedömning
I litteraturen finns runt 200 publicerade studier om den medicinska effekten av homeopati. Ungefär 2/3 av dem är av typen randomiserad klinisk prövning (RCT), alltså dubbel-blindad och randomiserad. Det är precis så man skall genomföra en studie av ett läkemedels effekt.
Om vi ser till samtliga dessa RCT så erhålls ett starkt stöd för homeopati. Sådana preparat ger ungefär dubbelt så god effekt som placebo. Att det är så framgår både av Lindes originalstudie, av hans re-analys, av Cucherats studie och av Figur 2 i Shangs meta-analys.
De tvivel om homeopatins positiva effekter i alla evidens-baserade analyser rör sig kring kraften i och betydelsen av bias. Här finns uppenbarligen ett bias som, enligt Shang, är av ungefär samma kraft som i skolmedicinska studier.
Frågan är hur man bäst hanterar ett bias. Metoderna som används idag är faktiskt ganska spekulativa. Jag tycker att det bästa sättet är att vikta studiernas betydelse efter kvalitet enligt Jadad score 0-5 eller att analysera i sekvens där studier som saknar en viss kvalitet utesluts. Så gjorde Linde i sin re-analys 1999, och hans resultat visade då helt klart att homeopati har en terapeutisk positiv effekt. Utöver det pekar Shangs studie från 2005 att man borde införa en viss viktning beroende på en studies storlek. Men stora studier blir ju ändå viktade högre än små om varje studerad patient ges lika stort värde.
Ett annat sätt att hantera ett bias är kanske att göra en sammanfattande bedömning av flera meta-analyser som grundas på samma material. Det gjorde Edzard Ernst 2002. Utan sammanfattande statistik hemfaller han dock åt subjektiva bedömningar och tyckande. Som vi redan sett är han inte helt ärlig utan har en klar uppfattning från början som han vill ge uttryck för. Hans påstådda meta-analys (som är en review-artikel) bör därför lämnas utan avseende.
Shangs ”funnel plot” är ett sätt att få en uppfattning om bias men inte vari dne består eller hur man skall hantera den. Hur Shang hanterade bias vet vi redan – nämligen att exkludera nästan hela underlaget. Tveksamheten i den studien ligger därför i varför inte mer analysdata presenteras. Shang gör sina beräkningar enbart på de 8 studierna som har minst standardfel när han istället borde ha dragit strecket vid 15, eller vid 21. Hade han bara dragit strecket vid något fler studier så pekar hans Figur 2 på att resultatet blivit helt annorlunda, och till förmån för homeopati. På samma sätt – om Lindes kollega inte hittat på sin egen kvalitets-skala utan enbart hållit sig till den väl etablerade Jadad score så hade utfallet av hans re-analys blivit helt otvetydigt. Linde har varit ärlig och redovisat mycket statistik. Om han varit lika restriktiv (och kanske selektiv) som Shang så hade motståndarna till homeopati haft mindre att vantolka. Sådana små detaljer kan avgöra den vetenskapliga bedömningen av hundratals studier, särskilt när en värld av vetenskapsmän och läkemedelsföretag helst vill bli kvitt homeopatin.
Trosuppfattningar om bias florerar. Cucherat (se min förra blogg) trodde att bortfall i studierna skulle innebära ett bias. Cucherats statistik, den som förminskar homeopatins värde, bygger på det antagandet, trots att Linde året innan visat att det är fel. Ett annat exempel är att flera författare, bland annat Ernst, har påstått att homeopatiska studier håller låg metodologisk kvalitet. När Shang gör en undersökning av saken så visar det sig att studier av homeopati i regel håller en högre kvalitet än skolmedicinska studier.
Jag skall avsluta med att ge ett exempel på hur ologiskt vetenskapsmän kan resonera. Shang anger i sin studies Diskussions-del att homeopati för infektioner i övre luftvägarna är en effektiv behandling. Där är homeopati 180% bättre än placebo. Resultatet är statistiskt säkerställt med god marginal. Funnel-plot visar frånvaro av publikations-bias. Visar detta då inte att homeopati fungerar vid övre luftvägsinfektioner? Svaret är nej – den slutsatsen törs Shang inte dra, och fyndet omnämns inte ens i studiens Resultat-del.Edzard Ernst gör precis tvärtom – när befintliga studierna om homeopati visar att behandlingen har en statistiskt säkerställd effekt vid reumatiska sjukdomar så underkänns den ändå på grundval av att de inte visats vara tillräckligt effektiva vid något specifikt sjukdomstillstånd.
Många vänder kappan efter vinden. Resultat finns, men ändå förklaras de bort. Det är inte svårt att se en systematik i detta. Den bakomliggande orsaken är möjligen undermedveten – men man måste förstå att det är otroligt svårt och riskfyllt för både forskare och tidskrifter att gå ut med något som strider mot det akademiska etablissemangets ställningstaganden. Den som tror att det är en lätt resa är naiv.
Om homeopati har bättre effekt än placebo eller inte tycks till synes och sist bero på vilken korrigeringsmetod för bias som vi tror på.
Robert Hahns blogg 