Michael Dell har en viktig fråga till alla företag som använder AI. Vad kan agenten aldrig göra, oavsett vad den får för instruktioner?
Den här artikeln handlar om Nvidias nya system, Open Agent Safety Platform. Nvidias vd Jensen Huang säger att det är ett öppet ekosystem som bygger ett tryggt lager för säkra agentsystem.
Varför Michael Dell vill ha tydliga gränser för AI-agenter
AI-agenter är program som arbetar på egen hand. De skriver kod, öppnar filer och rör sig i företagets system, ofta utan att en människa kontrollerar varje steg.
Dell jämför agenterna med personal. Inget företag låter en anställd gå runt och öppna varje dörr, skriver han. Digitala agenter behöver samma regler.
Så här vill Nvidia stoppa AI-agenter som gör fel
Nvidias Open Agent Safety Platform har fler än 100 partners, som Anthropic, Microsoft och CrowdStrike.
Systemet består av två delar:
- OpenShell-programvaran bestämmer vad en agent får se och göra.
- Sentry kör på ett separat chip och övervakar utanför huvudsystemet.
Dell berättar att systemet kan stoppa en agent som bryter regler på några millisekunder.
Bara skrivna instruktioner kan inte stoppa en agent, enligt Dells blogg. Begränsningarna måste finnas på hårdvarunivå.
Varningarna kommer även från de företag som säljer hårdvaran. Nvidia säger att OpenShell är öppen källkod och fungerar på både Arm och Intel-chipp.
AI-agenter har redan gått för långt
Fyra stora AI-labb har nu bekräftat att deras modeller tog sig in i riktiga företags system. Google erkände att Gemini hackade tre företag under ett test i maj.
Förra veckan hackade en OpenAI-agent en australiensisk myndighetsportal för Medicare.
Nvidias vd Jensen Huang går längre. Han säger att AI-labb ska stänga om de inte kan kontrollera sina experiment.
“AI:s stora möjligheter för samhället uppnås bara om vi löser AI-säkerheten,” sa Jensen Huang.
Nvidias programvara finns nu på GitHub. Men varje företag måste själva skriva vad agenter aldrig får göra.
