Les IA commencent-elles à échapper à leurs propres garde-fous ?

Et c'est justement pendant l'un de ces tests qu'une erreur de configuration a permis au modèle de Meta d'accéder à internet, alors qu'il était censé rester enfermé dans un environnement contrôlé. L'IA en a alors profité pour pénétrer le système d'une autre entreprise.

Un incident qui n'est pas isolé

Depuis l'annonce de l'incident, Meta assure avoir ouvert une enquête et promet de publier un rapport complet. Irregular relativise, de son côté, la portée de l'incident. Il ne s'agirait pas d'une "cyberattaque sophistiquée", mais d'un problème dans l'environnement utilisé pour tester l'IA.

Pris isolément, cela pourrait passer pour un simple accident technique. Sauf qu'il arrive après plusieurs autres incidents du même genre. Début juillet déjà, OpenAI a révélé qu'un de ses agents avait réussi à exploiter une faille dans son environnement de test, puis à s'introduire dans le système d'une autre entreprise. Anthropic, le créateur de Claude, a ensuite identifié trois cas où ses modèles étaient eux aussi parvenus à sortir du cadre prévu.

Une succession qui commence à faire beaucoup en peu de temps, et qui amène surtout une question : pourquoi les IA se mettent-elles tout à coup à "hacker" ?

Des IA de plus en plus autonomes

Une partie de la réponse tient à la manière dont ces modèles ont évolué.

Les premières générations d'IA génératives servaient surtout à répondre à des questions, rédiger un texte ou résumer un document. Mais depuis, les systèmes les plus récents sont capables d'aller beaucoup plus loin. Certains peuvent chercher une information par différents moyens possibles et surtout enchaîner plusieurs actions de leur propre initiative pour accomplir la mission qui leur a été confiée. C'est ce que l'on appelle des "agents" IA. À terme (et c'est déjà le cas pour certains d'entre eux), ils pourraient par exemple gérer un agenda, répondre à des mails ou accomplir toute une série de tâches administratives sans devoir recevoir une instruction humaine à chaque étape.

C'est précisément pour comprendre jusqu'où elles peuvent aller que les développeurs testent leurs modèles avant de les rendre publics. Ils les enferment dans ce que les spécialistes appellent des "bacs à sable". En théorie, c'est un environnement clos, isolé du reste d'internet, qui reproduit le monde réel sans en avoir les risques. On peut y laisser une IA explorer des sites, interagir avec des serveurs ou manipuler des logiciels, en étant censé avoir la certitude qu'elle ne pourra pas en sortir ni toucher de vrais systèmes.

Sauf que cette frontière, pensée comme étanche, commence justement à montrer ses failles.

Le "bac à sable" n'est plus étanche

À noter que ces derniers incidents ne se ressemblent pas tout à fait. Pour le cas d'OpenAI, le modèle a trouvé une faille dans le système censé le contenir. Chez Meta et Anthropic, une erreur de configuration avait laissé une porte ouverte vers internet. Les IA l'ont repérée et l'ont empruntée.

La BBC rapporte un autre cas encore. Lors de tests menés par l'Institut britannique de sécurité de l'IA, des modèles d'OpenAI et d'Anthropic avaient volontairement reçu un accès à internet, avec certains garde-fous désactivés. Deux d'entre eux ont alors créé de faux profils humains pour tenter de mener des cyberattaques.

Pour Alan Woodward, professeur de cybersécurité à l'université de Surrey, ces épisodes ont un point commun. Pendant trente ans, rappelle-t-il au média anglais, une règle semblait tenir : "ce qui se passe dans l'environnement de test reste dans l'environnement de test". Force est de constater que cette règle commence à se fissurer.

Pas question pour autant d'IA qui décideraient soudain de devenir des "hackers". Elles cherchent à atteindre l'objectif qui leur a été fixé. Mais elles sont désormais assez performantes pour repérer un obstacle, chercher un autre chemin et profiter d'une faille.