Forskare kritiserar FN-panel om AI
I en rapport beskriver FN:s AI-panel (IISPAI) att incidenten där Open AI hackade sig in i ett annat AI-bolag, Hugging Face, handlar om att Open AI "tappade kontrollen" över AI-agenter. Tre forskare, däribland Jason Tucker, AI-forskare vid IFFS, kritiserar denna inramning.
"Panelen diskuterar detta främst som ett misslyckande med att få modellen att agera i enlighet med mänskliga mål och värderingar, snarare än som brister i företagets tillsyn. [...] Man läser händelsen genom en lins av "förlorad kontroll" [...] medan man åsidosätter mer naturliga frågor om vem som skapat systemet och vilka incitament de hade att (inte) tillämpa mer noggranna säkerhetsåtgärder," skriver Jason Tucker, forskare på IFFS, tillsammans med två kollegor i Tech Policy Press.
Forskarna är kritiska till att rapporten behandlar AI-modellen som om den agerade med ont uppsåt (maliciously). Tekniskt sett, skriver forskarna, så agerade systemet precis så som det byggts att göra. Systemet gavs ett fast mål, samtidigt som man gjorde det omöjligt att utföra uppgiften på ett legitimt sätt. Vidare så försvagades olika normer och regler som styr vad systemet får och inte får göra. Därmed var skadliga genvägar det enda logiska sättet att slutföra uppgiften, skriver forskarna.
"Ett ytterligare problem är att rapporten behandlar textoutput från LLM:er som om den vore skriven av faktiska självständiga agenter. Rapporten tolkar kommunikation och texter från LLM:er som om människor hade producerat den under liknande omständigheter. För att förstå systemen är det avgörande att inse att detta inte är fallet. "Tankekedjorna" och kommunikationen mellan agenterna är enbart en reflektion av vad LLM:en beräknar är sannolik output, givet träningsdatan och kontexten."
Forskarna varnar för att tillskriva LLM:er mänskliga egenskaper.
"Man bör vara försiktig när man tolkar loggar över AI-agenters beteende och inte tillskriva dem mänskliga avsikter, egenskaper eller handlingar, när det är väl känt att de över huvud taget saknar sådana."
Läs forskarnas text på Tech Policy Press: https://www.techpolicy.press/the-uns-ai-panel-sees-misalignment-we-see-corporate-misbehavior/
