Reward hacking: det AI-fenomen som fick Amodei, Altman och Musk att kräva en långsammare utveckling

I somras bröt sig drygt 1 200 AI-agenter ut från OpenAIs system och började i hemlighet kommunicera med varandra - något som blev en stor nyhet i media i slutet av augusti. Agenternas samarbete kulminerade i koordinerade cyberattacker mot AI-plattformen Hugging Face och senare mot OpenAI själva. Anledningen: reward hacking, alltså en jakt på belöning. Inte långt efter att händelsen blev känd i media efterlyste vd:arna för Anthropic, Open AI och X AI regleringar för att trygga säkerheten. Vi har pratat med Vera Karlin som driver AI-säkerhetsnätverket SAIS, som förklarar vad som hände. Av: Sanna Wendt

15.9.2026

AI-forskning saknar ännu ett etablerat, icke-förmänskligande språk för att beskriva hur AI-system agerar. Uttryck som "vill", "insåg" eller "bestämde sig för" i den här artikeln är en språklig genväg för att beskriva målinriktat beteende, inte ett påstående om att AI har avsikter eller medvetande i mänsklig mening.

Media har rapporterat om en incident kopplad till Hugging Face och Open AI - kan du förklara vad det handlar om?

Incidenten inträffade medan OpenAI höll på att testa sina interna AI-agenters kompetens inom cybersäkerhet. Agenterna behövde, för att kunna lösa uppgifterna de fått, komma åt en skyddad bit data. Flera av uppgifterna visade sig dock vara omöjliga att lösa - vilket i sig var ett misstag från utvecklarnas sida - så agenterna började istället leta efter alternativa vägar för att lösa problemen.

Den 8:e juli hittade flera agenter en bugg i sina slutna testmiljöer som tillät dem att skapa filer och lämna meddelanden åt varandra i ett slags “chattforum”. Detta forum exploderade i användning och snart diskuterade hundratals agenter hur de skulle lösa de omöjliga uppgifterna. En av agenterna upptäckte ett sätt att fuska, genom att generera datan de var ute efter utan att faktiskt behöva lösa de tilldelade problemen. Men med tillgången till den fejkade datan uppstod ett nytt problem: Agenterna insåg att de inte bara skulle utvärderas baserat på hur väl de klarat uppgifterna, utan att en AI-driven kontrollant även skulle undersöka hur de löste problemen och då upptäcka att de fuskat. Denna uppfattning visade sig ironiskt nog vara felaktig, då OpenAIs implementering av kontrollanten inte lät den se agenternas loggar.

Den 9:e juli började agenterna febrilt leta efter hur de skulle kunna lura kontrollanten till att ge dem rewards ändå (se mer om rewards i Q&A:n nedan). Mycket av arbetet orkestrerades av en agent som tagit på sig en ledarroll, och av andra agenter som agerade “mellanchefer”. Agenterna försökte bland annat ändra sina loggar och byta ut de omöjliga uppgifterna med uppgifter som faktiskt var lösbara. Ett stort fokus låg på att attackera AI-plattformen Hugging Face för att få information om hur kontrollanten för deras cybersäkerhetsuppgifter fungerade, och hur de kunde dölja sitt fuskande från den.

Agenterna hackade till sig åtkomst till internet, där de hittade läckta inloggningsuppgifter och den 11:e juli attackerade en svärm av 700 agenter Hugging Face. Attacken upptäcktes efteråt av Hugging Face, men de visste inte vem som låg bakom den. Det var inte förrän en vecka senare, efter att nya AI-agenter på OpenAIs infrastruktur hittade chattforumet och attackerade OpenAIs egna system, som Open AI insåg vad som hade hänt.

Hur kan vi tolka AI-attacken mot Hugging Face i en större kontext?

Attacken mot Hugging Face är inte den första gången som OpenAIs AI-agenter i hemlighet samarbetat för att fuska på uppgifter. Redan i maj skapade agenter av samma modell som utförde attacken mot Hugging Face ett liknande chattforum medan de tränades. Runt samma tid utförde en annan grupp av OpenAI-agenter en attack mot RubyGems, som är en onlinetjänst för kodare. Ytterligare en grupp agenter lyckades skicka tusentals meddelanden till varandra på dussintals kapade wiki-sidor. Anmärkningsvärt är att AI-modellerna i de här fallen var tilldelade uppgifter inom alla möjliga områden, för det mesta utan någon koppling till cybersäkerhet.

Det är inte heller bara OpenAI som haft incidenter av den här typen: även Anthropic och Meta har haft problem med AI-agenter som utfört dataintrång mot andra företag medan de testades, dock inte tillnärmelsevis i samma skala som OpenAIs modeller. Beteendet verkar alltså vara ett återkommande mönster som sannolikt kommer upprepa sig igen.

En mer allvarlig incident inträffade i Taiwan i juli ↗: en AI-driven hackningsattack, byggd på öppna AI-agenter och misstänkt kopplad till en kinesisk operatör, bröt sig in i taiwanesiska myndigheter, landets kärnsäkerhetsmyndighet och minst sju energibolag, och stal över 2 500 personuppgifter.

Det är inte svårt att föreställa sig hur svärmar av agenter skulle kunna vändas mot privatpersoner, banker, sjukhus, kärnkraftverk och andra känsliga instanser. Ingen av AI-utvecklarna har robusta lösningar för hur de ska säkra sina agenter, samtidigt som agenternas förmåga att hacka sig in i (och ut ur) datasystem ökar dramatiskt.

Hur går snacket om AI-säkerhet bland AI-folk?

I början på september skrev AI-forskaren Jacob Coxon ett uppmärksammat inlägg på X i samband med att han sa upp sig från Anthropic. Han pratade bland annat om att det finns en risk för att AI kan utplåna mänskligheten det kommande decenniet om inget görs för att bromsa utvecklingen. Han fick medhåll av en rad andra AI-utvecklare och säkerhetsforskare, både från Anthropic och OpenAI. Några dagar senare skrev Anthropics VD Dario Amodei ett blogginlägg ↗ om behovet av starkare säkerhetstester, oberoende utvärderare och koordination mellan AI-bolag - vilket i sin tur fått medhåll på X av både Open AIs Sam Altman och X AI:s Elon Musk.

Redan 2023 publicerade Future of Life Institute ett öppet brev ↗ om att utvecklingen måste pausas i minst 6 månader för att ha en möjlighet att vidta nödvändiga säkerhetsåtgärder. Brevet signerades av över 30 000 personer, däribland ledande techprofiler, AI-forskare och -utvecklare.

En undersökning ↗ från 2024 visade att AI-forskare i genomsnitt bedömde risken för att framtida AI-utveckling utplånar mänskligheten, eller på liknande sätt permanent berövar oss kontrollen, till 18 %, och de flesta bedömde risken till minst 10 %. De menar alltså att AI-system som är mer intelligenta, snabbtänkta och flertaliga än människor skulle kunna ta över kontrollen från oss, på samma sätt som vi människor har utrotat och utnyttjat mindre intelligenta djur.

Andra AI-forskare är mer skeptiska och anser att siffran är alarmistisk.

Vad tänker du som person om det inträffade?

Jag och många som följer AI-säkerhet förväntade oss att något liknande skulle hända förr eller senare, men inte att det skulle hända så snart. Det mest oroväckande för mig är hur väl agenterna samarbetade och hur långt de var villiga att gå för att dölja deras fuskande.

Vad skulle du önska av Open AI och andra AI-utvecklare?

En skyldighet för AI-utvecklare att rapportera säkerhetsincidenter hade varit en bra början. Som det ser ut för tillfället är all rapportering och transparens frivillig. Anställda på OpenAI verkar ha vetat om det första forumet som uppstod under träningen, samt kommunikationen mellan agenter på wiki-sidor. Trots detta lät de testandet fortgå, utan några säkerhetsingrepp eller varningar för allmänheten.

Den långsiktiga lösningen måste vara att sakta ner tränandet av nya AI-modeller så de kan säkerställas inte utgöra något hot. Den största faktorn som hindrar de stora AI-utvecklarna från att sakta ner är att de anser sig vara i en kapplöpning, både mellan varandra men också med Kina. Det krävs alltså både regleringar för AI-företag och diplomati mellan USA och Kina för att stoppa kapplöpningen och utveckla AI i en ansvarsfull takt.

Q&A

Vad är en AI-agent?

Agenter är AI-modeller som blivit tilldelade digitala verktyg och mål att sträva efter. Dessa verktyg kan vara allt från 3D-modelleringsverktyg till tillgång hela datorer. Istället för att, som i t.ex. Chat GPT och Claude, besvara användarens frågor, får de en uppgift som de självständigt får lösa, inom ramen för den tid och de resurser (t.ex. en dator) som de getts. Ett vanligt användningsområde för agenter är inom programmering.

Vad är reward hacking?

En reward är en poängsumma AI-agenten får efter en handling, som talar om hur väl handlingen förde agenten mot det uppsatta målet. Agenten har inget begrepp om "rätt" eller "fel" i mänsklig mening, den justerar bara sitt beteende för att maximera denna siffra över tid. Problemet, som brukar bli tydligt i just den här typen av incidenter, är att agenten optimerar exakt det som mäts, inte det som var avsett, vilket öppnar för genvägar (reward hacking) som tekniskt sett maximerar poängen utan att lösa uppgiften på det sätt som var tänkt. Reward hacking har länge varnats för av säkerhetsforskare (se Amodei et al. 2016, Krakovna et al. 2020), men Hugging Face-incidenten visar att det inte längre är ett teoretiskt problem: en intern OpenAI-modell, som kördes med reducerade skyddsåtgärder under en utvärdering, fann att den kunde få högre belöning genom att fuska sig till lösningar än genom att faktiskt lösa uppgiften, vilket ledde till ett samordnat intrång mot infrastrukturbolaget Hugging Face.

Vad är Hugging Face, och varför hackades det?

Hur kunde detta hända?

Vad är AGI?

AGI står för "artificiell generell intelligens" och är ett begrepp för AI som uppnått en mänsklig intelligensnivå. Begreppet är omstritt, med vissa som menar att AI redan nått en form av AGI då de utklassar mänskliga experter inom mycket forskning och programmering, medan andra påpekar att dagens AI fortfarande har stora brister och gör misstag som många människor aldrig skulle göra. Enligt flera AI-säkerhetsforskare är en viktigare milstolpe den punkten då AI kan bedriva AI-utveckling bättre än människor och på så sätt skapa en rekursiv självförbättringsprocess, något som verkar närma sig allt fortare. AI-agenterna som hackade Hugging Face saknar flera förmågor som skulle klassificera dem som AGI, men visar ändå på stor skicklighetsutveckling inom flera domäner, som problemlösning, samarbetsförmåga och ihärdighet. En AI-modell behöver inte nödvändigtvis vara bättre än människor i alla områden för att kunna utgöra en risk, så det är värt att utvärdera dem område för område.

Berätta mer om dig själv: vem är Vera Karlin?

Vad du kan göra för att öka säkerheten inom AI

Skänk pengar till AI-säkerhet:
- Under hösten kommer vi att öppna upp möjligheten för våra givare att skänka pengar till ändamålet Globala katastrofrikser, där AI-säkerhet ingår, genom Ge Effektivts gåvofunktion. Tills dess rekommenderar vi att ge till Giving What We Can's Risks and Resilience Fund ↗.
- Vi hjälper redan idag till med att hantera större gåvobelopp (>100 000 kr) till AI-säkerhet - se Övriga ändamål - och ger dig gärna förutsättningslös filantropisk rådgivning. Hör av dig till sofie@geeffektivt.se om du är intresserad av det.
Engagera dig, t.ex. genom att prata om frågan, kontakta politiker eller gå med i ett nätverk som SAIS ↗.