Dans la plupart des organisations, le chatbot permet une première approche de l’intelligence artificielle. Au-delà de sa mise en oeuvre technique se joue une transformation bien plus large : évolution des responsabilités, bascule réglementaire, nouvelles surfaces d’attaque et instabilité des modèles. Pour Julien Ehrhart, AI Security Advisor chez Thales, le chatbot n’est pas un simple gadget conversationnel. Il constitue la porte d’entrée vers une nouvelle génération de risques systémiques.

La mise en œuvre d’un chatbot est aujourd’hui l’un des cas d’usage les plus courants de l’intelligence artificielle en entreprise. Simple à déployer, visible et immédiatement tangible, il répond au souhait des dirigeants de concrétiser l’intégration de l’IA. En effet, il s’agit de mettre en place une interface conversationnelle capable de répondre à des questions posées par les collaborateurs, par exemple en matière de ressources humaines, ou par les clients à propos des services offerts. 

À première vue, le chatbot apparaît comme une solution inoffensive. Pourtant, sa mise en oeuvre, et plus encore son extension à grande échelle, concentre une série de risques souvent sous-estimés. L’exemple du déploiement d’un chatbot en milieu bancaire permet d’en mesurer toute la portée.

Au commencement , un outil interne

Les premiers chatbots sont généralement déployés en interne. Connectés à des bases documentaires statiques, ils assistent les équipes RH ou IT en répondant aux questions récurrentes des collaborateurs. À ce niveau, le risque est limité et relativement maîtrisé. Les bénéfices sont immédiats, ce qui incite naturellement à étendre les usages. Mais les pratiques évoluent rapidement. Il n’est pas rare de voir des utilisateurs commencer à envoyer eux-mêmes des documents à l’agent, détournant sa fonction initiale, pour qu’il les résume, les traduise ou les reformule. A partir de ce moment, des données potentiellement sensibles peuvent être retenues par le chatbot et exposées ultérieurement à d’autres utilisateurs. C’est un premier risque non négligeable, car il peut conduire à révéler des informations confidentielles.

Des pouvoirs étendus, des risques accrus

L’étape suivante consiste le plus souvent à connecter le chatbot aux systèmes internes de l’entreprise. Il peut alors informer un collaborateur sur son solde de congés ou sa rémunération. Côté client, il permet de consulter un compte ou d’initier un paiement. À mesure que l’interface gagne en autonomie, elle devient un véritable agent. Plus les autorisations qui lui sont accordées sont étendues, plus le risque d’un usage détourné augmente. “Il ne s’agit plus seulement d’accès aux données, mais de détournement des outils eux-mêmes », prévient l’expert de Thales.

Un compte compromis peut devenir un levier d’exploitation. Un attaquant, à travers l’agent qui dispose d’un accès étendu, peut chercher à extraire des informations sensibles ou à déclencher des opérations. L’agent IA agit alors comme une sorte d’”inside man”. Il possède déjà les accès aux outils de l’entreprise. Il devient vecteur d’exécution. Si quelqu’un le manipule depuis l’extérieur, il peut occasionner des dégâts importants.

Quand l’innovation change la nature juridique du système

Dans le cas de la banque, l’histoire ne s’arrête pas là. Elle peut décider d’aller plus loin et d’utiliser son chatbot pour évaluer la possibilité d’octroyer ou non un crédit. L’idée semble innovante et différenciante. Mais elle change radicalement la nature du système. L’IA ne se contente plus d’informer ou d’assister: elle intervient désormais dans un processus de décision. À ce moment, la réglementation entre en ligne de compte. « Un système de credit scoring associé à une décision d’octroi est considéré comme un cas d’usage à haut risque au sens de l’AI Act européen. Cela implique une supervision humaine, des tests, de la documentation, et la capacité de démontrer l’absence de discrimination », commente Julien Ehrhart. Selon ses fonctionnalités, le niveau de risque associé au chatbot peut évoluer de « low » à « high ». L’innovation fonctionnelle entraîne une transformation juridique.

Des agents numériques corruptibles

Au-delà de la conformité, un autre défi apparaît : celui des attaques spécifiques aux modèles d’IA. Contrairement à une application classique, un chatbot repose sur un modèle probabiliste. On ne maîtrise ni totalement les instructions à l’entrée, ni la manière dont le modèle traite l’information, ni le résultat en sortie. C’est d’ailleurs un enjeu majeur, pour la supervision, l’entraînement des modèles, afin de garantir les résultats. Et les attaquants n’hésitent pas à exploiter cette caractéristique, avec la volonté de détourner ou tromper les agents. C’est l’ingénierie sociale de l’IA selon l’expert.

Parmi les techniques connues : le “roleplay”. Elle consiste à demander au chatbot de se faire passer pour quelqu’un d’autre afin de contourner ses garde-fous. En modifiant le contexte, ce que les spécialistes appellent le “grounding”, un attaquant peut provoquer un “jailbreak”, c’est-à-dire une sortie du cadre prévu.

« Le chatbot , symbole de l’adoption de l’IA, n’est pas juste un gadget conversationnel :
il est la porte d’entrée vers une nouvelle génération de risques systémiques. »

 

Sécuriser à l’ère des modèles évolutifs 

La cybersécurité, plus que protéger les systèmes, doit désormais encadrer leur comportement. Face à ces nouveaux risques, les approches traditionnelles doivent évoluer. Des filtres en entrée et en sortie, des AI Firewall et des mécanismes de contrôle contextuel sont désormais nécessaires. « On peut détecter des messages suspects avant qu’ils n’atteignent le modèle et filtrer les réponses en sortie », souligne l’expert. Certaines architectures reposent même sur des agents contrôleurs : des IA chargées d’évaluer les réponses générées par une autre IA pour vérifier leur cohérence métier.

L’évolutivité des modèles constitue un autre défi. Ils progressent à une vitesse fulgurante. Le ChatGPT de janvier n’est pas le même que celui de mars. Cette variabilité peut entraîner des régressions fonctionnelles. Une réponse pertinente hier peut devenir approximative demain. Les tests ne peuvent plus être ponctuels : ils doivent être continus.

Open source et “vibe coding” : 
l’illusion de la simplicité

En outre, de plus en plus de modèles ajustés par la communauté open source, pour répondre à des besoins précis ou sectoriels, sont disponibles. Comment, cependant, s’assurer que le paramétrage du modèle originel ne comporte pas de biais ou de vulnérabilités ? « Si les grands fournisseurs ont déjà des difficultés à sécuriser leurs modèles, imaginez les risques associés à des modèles développés par de petites entités », commente Julien Ehrhart. 

À cela s’ajoute le recours croissant au « vibe coding », le développement accéléré par IA. Des outils SaaS (software as a service) sont désormais créés en quelques jours à l’aide de générateurs de code automatisés. Cela conduit souvent à des failles de sécurité, des bases de données exposées, ou des vulnérabilités héritées…

Gouvernance avant précipitation

L’origine de tous ces risques réside souvent dans une course effrénée à l’adoption de ces outils. La pression à l’innovation pousse les organisations à les déployer rapidement, en négligeant les aspects de gouvernance. L’intégration d’un chatbot, au regard des risques évoqués, implique au préalable de se doter d’une gouvernance adaptée, mais aussi de s’appuyer sur des développeurs expérimentés, de mettre en oeuvre une architecture robuste, de définir et de réaliser des tests spécifiques, ainsi que de sensibiliser les utilisateurs.

Le chatbot, symbole de l’adoption de l’IA, n’est pas juste un gadget conversationnel. Il est la porte d’entrée vers une nouvelle génération de risques systémiques. Et, à ce titre, il mérite d’être conçu comme un système critique dès le premier jour.