Hugging Face-incidenten: "Håll företagen ansvariga"
Efter att Open AI i somras hackade sig in i ett annat AI-företag, Hugging Face, under ett test av hur bra deras AI-modeller var på att just hacka och exploatera svagheter i IT-system, har domedagsdebatten kring AI intensifierats.
Men den missar poängen, enligt Anandi Hattiangadi, professor i filosofi och forskare vid IFFS, som tillsammans med fyra andra AI-forskare skriver på DN Debatt.
Detaljer om incidenten visar att testerna utfördes med alla säkerhetsåtgärder avstängda i en otillräckligt isolerad testmiljö. Attacken var dessutom ett resultat av ett sedan länge känt fenomen som kallas "reward hacking", där AI-system som tränas med förstärkningsinlärning för att uppnå en viss belöning, kan försöka uppnå målet på sätt som den som utformade testet inte avsåg eller förutsåg. Trots att detta är känt, lämnades AI agenterna att köra hacking-testet utan tillräcklig mänsklig uppsikt under lång tid.
Istället för att prata om detta som ett exempel på en kommande AI-domedag där superintelligent AI tar kål på mänskligheten, borde blickarna och säkerhetsfrågorna riktas mot företagen som utformar modellerna och testerna. Förutom transparenskrav, etiska riktlinjer, och formellt verifierade testmiljöer måste företagen även hållas juridiskt ansvariga för sådana här incidenter.
"Juridiskt ansvar måste utkrävas av de företag som utvecklar eller tillhandahåller avancerade AI-system. Om dessa agenter exempelvis hackar sig in hos andra organisationer, vilket är olagligt för människor, bör ansvar kunna utkrävas av företaget bakom AI-systemet," skriver bland andra Anandi Hattiangadi på DN Debatt.
Läs artikeln här: https://www.dn.se/debatt/ai-kraver-att-vi-haller-tva-tankar-i-huvudet-samtidigt/
