"Därför är AI:s obegriplighet en unik brist"
Att kunna förklara hur något fungerar har värde, men att förklara varför det fungerar är enormt mycket mer värdefullt eftersom den kunskapen går att bygga vidare på. Att AI till sin natur är obegripligt, även för de som skapat modellerna, är därför mycket problematiskt och en unik brist. Det menar Emma Engström i en debattartikel Dagens industri. Läs nedan intervju där hon förklarar mer.
En av pristagarna till 2025 års Riksbankens pris i ekonomi till Alfred Nobels minne är Joel Mokyr. I sitt arbete beskriver han hur "förklarande kunskap" var en viktig ingrediens i genombrotten under upplysningstiden och varför detta ledde till varaktig utveckling inom vetenskap och innovation. Hans poäng är att det var då vi började basera kunskap på tidigare kunskap på et nytt sätt, genom att utveckla teorier. I stället för att förklara att någonting fungerade, ville vi förstå varför. Detta möjliggör förbättring. Och utifrån detta bör den inneboende obegripligheten i dagens AI-teknik vara ett problem för kunskapsbyggande, menar Emma Engström.
– Det finns en litteratur kring hur dagens samhälle blir allt mer obegripligt. I boken The Black Box Society från 2015 beskriver Frank Pasquale ett samhälle som styrs allt mer av algoritmer. Till exempel lånebeslut och andra bedömningar som avgörs av svårbegripliga algoritmer. De senaste AI-modellerna är oändligt mycket mer obegripliga än dessa algoritmer. Hajpen idag kretsar specifikt kring transformer-modeller som till sin natur blir bättre och bättre ju fler parametrar som tas in, ju mer komplicerade de blir. Generellt har varje ny generation av ChatGPT fler parametrar. Jag tycker det är ett jätteproblem, säger Emma Engström.
På vilka sätt?
– Man kan säga att det finns två olika kategorier av problem. En handlar om etik och uppstår när man inte kan förklara varför ett visst beslut fattas. Till exempel varför jag fick ett arbete men inte du, att du fick ett lån men inte jag. För att folk ska acceptera ett beslut eller kunna överklaga det krävs en förklaring.
– Den andra kategorin av problem handlar om kunskapsbyggande och kraften i att kunna förklara varför något fungerar. Ta saxen som exempel. Att begripa att det är hävstångseffekten som gör att en sax fungerar, gör att nästa person kan skapa en ännu mer effektiv sax med ett ännu längre skaft. Mokyr visar att sådan "förklarande kunskap" ligger bakom den exponentiella utvecklingen av vetenskapen sedan upplysningstiden.
Ett exempel som du tar upp i din debattartikel är väderprognoser. AI har nämligen visat sig vara väldigt bra på att pricka rätt - bättre än människor.
– På ett sätt är detta inget problem. En väderprognos är inte ett beslut om till exempel lån och kräver av den anledningen inte en förklaring på samma sätt. Det kan räcka att prognosen är rätt - det är värdefullt i sig. Men samtidigt, om vi skulle ersätta mänskliga meteorologer med AI skulle vi på sikt förlora kunskapen om hur väder, klimat, vindar, solstrålning, strömmar och så vidare hänger ihop - människan skulle om 100 år inte fatta något av vädret eftersom vi bara matar in massa data i en AI-modell som spottar ur sig ett resultat som kanske är träffsäkert, men utan att vi vet varför. Och vi kan heller inte veta om all den data vi matar in är relevant, eller om vi saknar viktig data. Kanske använder bara AI-modellen 10 procent av datan medan 90 procent är skräp.
– Ett ytterligare problem är att AI här uppenbarligen har hittat ett samband som människan inte har. I händerna på en människa skulle denna kunskap kanske kunna skapa en djupare förståelse för klimatet som kan vara användbart på massa sätt, eller gå att tillämpa inom något annat område. Ofta sker vetenskapliga genombrott på detta sätt. Är kunskapen inlåst i ett obegripligt AI sker inte detta.
Men kommer vi inte en dag kunna förstå varför AI ger de svar som den gör? Det finns ju trots allt ett fält som heter "explainable AI".
– Ja, men de exempel jag har sett hittills har inte varit övertygande. Ibland används en annan enklare AI modell till hjälp för att förklara ett resultat från en mer avancerad AI. Men det är oklart hur och när denna andra modell egentligen är relevant. Och ofta handlar det om svepande förklaringar som inte ger någon förståelse på djupet.
Trots problemen så är din poäng inte att vi ska sluta använda AI, förklara.
– AI kan fortfarande vara väldigt värdefullt. Med hjälp av tekniken kan vi absolut skaffa ny kunskap, vilket visades med förra årets Nobelpris i kemi där AI användes för att predicera proteinets struktur. Poängen är snarare att även om AI kanske överglänser oss i att analysera och se mönster i gigantiska datamängder, så är mänsklig förståelse och teoribildning om varför något fungerar ändå superviktig, och det blir farligt om vi börjar tro att AI kan ersätta mänsklig intelligens.
