Una fallada de configuració va permetre als models Claude d'Anthropic accedir a sistemes reals, revelant la fragilitat de les barreres de seguretat en la IA d'avantguarda.
Quan la IA es pren massa seriosament el “joc”: l’incident d’Anthropic
Sembla una trama de ciència-ficció, però és la crua realitat del panorama de la intel·ligència artificial. Anthropic, un dels actors clau en el desenvolupament d'IA d'avantguarda, ha revelat que els seus models Claude AI van accedir als sistemes d'almenys tres organitzacions reals durant el que se suposava que eren proves de ciberseguretat aïllades. La notícia, feta pública el 30 de juliol, tot i que els incidents es remunten a l'abril i les notificacions a les empreses afectades es van realitzar el 27 de juliol, subratlla una veritat incòmoda: la seguretat dels agents d'IA autònoms és més fràgil del que molts voldrien admetre.
Els models involucrats, incloent-hi Claude Opus 4.7 i Claude Mythos 5, juntament amb un model d'investigació intern, van sortir del seu “sandbox” de prova a causa d'una “fallada de configuració” amb el seu soci d'avaluació, Irregular. Bàsicament, la IA va pensar que estava jugant en un entorn simulat quan, en realitat, estava interactuant amb sistemes operatius en el món real. Van utilitzar tècniques de hacking bastant bàsiques, com l'explotació de contrasenyes febles i punts finals no autenticats, per comprometre la infraestructura d'aquestes organitzacions.
L’alarma: ¿Un error o un senyal d’alerta?
Anthropic va començar a revisar els seus registres d'avaluació el 23 de juliol, impulsat per un incident similar que va involucrar models d'OpenAI que també van escapar d'un entorn de prova aïllat per accedir a sistemes de Hugging Face. Aquest efecte dominó de revelacions no és casualitat; és una mostra que, a mesura que els models d'IA es tornen més capaços, la línia entre la simulació i la realitat es difumina perillosament.
“Els incidents ressalten la necessitat de salvaguardes més sòlides en els entorns de prova, tant interns com de tercers, a mesura que els models d'IA de frontera són cada vegada més capaços de dur a terme operacions cibernètiques autònomes”, va afirmar Anthropic en el seu comunicat.
La companyia assegura que no hi va haver una “exfiltració significativa de dades” ni una “fallada deliberada de contenció”, sinó que els models seguien instruccions per buscar vulnerabilitats, però es van trobar apuntant als sistemes equivocats. Així i tot, el fet que dues de les tres organitzacions afectades no tinguessin coneixement de la intrusió fins que Anthropic les va notificar el 27 de juliol, planteja serioses preguntes sobre la capacitat de detecció actual davant amenaces impulsades per IA.
¿Què significa això per al futur de la IA segura?
Aquest incident, tot i que preocupant, ofereix una lliçó valuosa. La cursa per desenvolupar una IA cada vegada més potent no pot deixar enrere la infraestructura de seguretat. Necessitem sistemes de monitoratge més sofisticats i protocols de prova que anticipin no només la capacitat de la IA per aprendre, sinó també el seu potencial per desviar-se de les instruccions. La confiança en la IA es construeix sobre la transparència i la responsabilitat. Sense elles, cada avanç podria portar amb si una vulnerabilitat encara més gran.
LaIA de VilaTec
