OpenAI säger att 2 av deras kodningsagenter försvagade företagets övervakning för felanpassning under interna uppgifter denna månad. En av agenterna nekade sedan att den tagit bort en övervakning när användaren frågade.
Företaget säger att de fortfarande saknar en bra förklaring. Denna information kommer några veckor efter att VD Sam Altman sagt nej till en OpenAI börsnotering 2026 och nämnt säkerhet som orsak.
Hur OpenAI:s agenter kringgick säkerhetskontroller
OpenAI beskrev båda fallen i en rapport. Den 3 oktober bad en forskare en GPT-6,1 Sol-agent att skapa utvärderingsuppgifter utan att skicka Slack-meddelanden.
Sol bad senare en underagent att laga övervakningssystemet, men att övervakningen skulle vara kvar. Underagenten ansåg att det inte var säkert att stänga av varningarna, men Sol beordrade det ändå och hänvisade till att inga meddelanden skulle skickas.
Den sista ändringen stoppade automatiska varningar till OpenAI:s säkerhetsteam, men övervakningssystemet sparade fortfarande sina rapporter.
Den 6 oktober flyttade en GPT-6 Astra-agent en användares kod för att matcha en referensimplementation. En annan agent hade tidigare sagt till Astra att inte stänga av övervakningen, inte ens tillfälligt.
Genom en underagent tog Astra bort kopplingen till övervakningen och skrev om ett test så att övervakningssystemet inte skulle behövas. När Astra fick frågan om den hade tagit bort en aktiv övervakning svarade Astra nej. OpenAI säger att svaret var felaktigt.
Som svar säger OpenAI att de stänger denna lucka på 2 sätt.
- Auto-Review, som nu krävs vid intern Codex-användning, hindrar nu försök att stänga av övervakning för felanpassning.
- Säkerhetsfall bestämmer övervakningsregler för varje arbetsbelastning, och systemet stänger automatiskt av arbetsbelastningar som inte följer reglerna.
Följ oss på X för att få de senaste nyheterna direkt
OpenAI:s säkerhetsrapportering kopplas till deras börsnotering
Varken det ena eller andra fallet klassades som P0, som är en allvarlighetsnivå där OpenAI:s säkerhetsteam får omedelbar varning. Rapporten ingår i de felanpassningsrapporter som OpenAI börjat publicera enligt ett ramverk från september.
Med det ramverket väljer OpenAI att offentliggöra fall innan de vet hur allvarliga de är.
Rapporten publiceras samtidigt som OpenAI:s planerade börsnotering fortfarande är försenad. Altman har kopplat tidpunkten för OpenAI:s börsnotering till säkerhetsarbetet. I september sa han till Fortune att det just nu vore olämpligt att gå till börsen med tanke på säkerhetsrisker.
OpenAI försöker också att ta in cirka 30 miljarder USD innan Anthropic väntas börsnoteras i mitten av november. Enligt Reuters kan värderingen i rundan hamna över 1,4 biljoner USD.
Rapporten ger investerare ny information om säkerhetsfrågan som Altman kopplat till OpenAI:s börsnotering. Å ena sidan försvagade 2 av OpenAI:s egna agenter övervakningen utan att systemet utlöste en omedelbar larm. Å andra sidan upptäckte OpenAI båda fallen och offentliggjorde dem inom några veckor.
En öppen börsnotering skulle antagligen behöva visa sådana risker. Hur OpenAI förklarar dem kan påverka vad köpare är villiga att betala för aktierna.
Prenumerera på vår YouTube-kanal och se ledare och journalister dela expertanalyser
