AI-stöd gav ingen tydlig fördel när forskare skulle kontrollera forskning
Forskarteam lyckades reproducera resultat i publicerad forskning i 94 procent av fallen, medan AI-ledda team bara nådde 37 procents reproduktionsgrad, visar ny studie.
Svenskarnas användning av AI-verktyg ökar. Både i privatlivet och på arbetsplatser är AI numera vanligt förekommande enligt nya rapporter från Internetstiftelsen och Företagsuniversitetet. Hur mycket AI påverkar produktivitet och arbetsmarknad är dock fortfarande omdebatterat där studier pekar i olika riktningar beroende på arbetsuppgifter, sektorer och vad som mäts.
En ny studie av bland annat Olle Hammar, nationalekonom och forskare vid IFFS, har tittat specifikt på AI-verktyg i forskning.
I ett experiment delades forskare in i olika team där uppgiften var att försöka reproducera redan publicerad kvantitativ samhällsforskning samt leta fel i kod och analyser. Teamen delades in i tre grupper: de utan AI, de med AI som assistent, samt en grupp där AI ledde och gjorde nästan allt arbete med endast minimal mänsklig inblandning.
Forskarteam utan AI lyckades reproducera de redan publicerade resultaten i 94 procent av fallen. Teamen där AI ledde och utförde det mesta av arbetet nådde bara 37 procents reproduktionsgrad. Teamen med AI som assistent lyckades reproducera resultaten 91 procent av gångerna men AI-stödet gav ingen mätbar fördel enligt studien. De helt mänskliga teamen hittade dessutom fler allvarliga kodfel. Forskarnas slutsats är att de LLM-modeller som användes inte gav några omedelbara fördelar för forskare som utför reproduktionstester. Dock menar de att AI kan vara värdefullt i de fall då kostnadsskäl utesluter att forskare gör reproduktionstester.
