Machine learning och A.I. som används i tusentals vetenskapliga studier riskerar vara missledande och felaktiga.
Den varningen gör Dr Genevera Allen from Rice University som förklarar att programvaran ofta riskerar identifiera mönster som bara hittas i den undersökta datan och inte i verkligheten.
Allt fler vetenskapliga studier använder sig av Machine learning och A.I. för att hitta mönster i stora datamängder. Detta gäller allt från biomedicinsk forskning till astronomi. Men Dr Allen varna nu för att mjukvaran allt för ofta hittar mönster som bara finns i den studerade datan. När forskare sedan försöker replikera studien med annan data visar det sig att mönstret inte alls existerar.
Problemet beror på att mjukvaran är gjord för att leta efter mönster och därför allt som oftast hittar ett mönster. Är då forskarna inte tillräckligt kritiska godtas oftast resultaten. Dessa studier är ofta baserade på stora datamängder insamlade under lång tid. Detta gör att det kan dröja länge innan någon annan gör om studien och kan se om den är felaktig. Resultatet blir därför också att det inte går att säga hur stort detta problem är. Det finns dock studier som hävdar att så mycket som 85% av den biomedicinska forskningen som genomförs just nu i världen kan vara felaktig.
Det var inte krisen som var i fokus för Dr Allens presentation inför American Association for the Advancement of Science utan hennes studier för att förbättra reabiliteten. Hon förklarar också att det verkar vara ett stort problem men att ingen vet hur utbrett problem är.
Vad kan man då göra för att försäkra sig att upptäckterna är riktiga? En bra början skulle vara att faktiskt försöka bedöma osäkerheten i varje studie. En så enkel sak som att genomföra en separat studie för att validera upptäckterna skulle kunna minska problemet drastiskt.
Artikeln är skriven av:
Tobias Hedström
USA-korrespondent
tobias@smartplanner.se