Une entreprise utilisant un système d’IA intégré à un jouet a généré des instructions indiquant où trouver un couteau et comment allumer un feu. L’entreprise a répondu par cette phrase prévisible : « Nous avons dit au système de ne pas faire ça ! »
Évidemment. C’est justement là le problème.
Interdire via un prompt quelque chose à un LLM n’est pas une mesure de sécurité
Lorsque l’expression “système stochastique” est perçue comme un barbarisme d’informaticien, on finit par attribuer à l’IA générative des capacités qu’elle ne possède pas. La première d’entre elles : croire qu’il suffit d’inscrire dans un system prompt “ne partage pas de contenu dangereux, n’hallucine pas, dis toujours la vérité” pour que le modèle obéisse.
C’est du wishful thinking, et une méconnaissance profonde de ce qu’est un LLM.
Un modèle de langage n’exécute pas de règles. Il prédit des séquences de tokens selon des distributions de probabilité apprises lors de l’entraînement. Il n’est pas conçu pour le raisonnement déductif, inductif, et encore moins abductif. Une instruction de restriction dans le prompt réduit la probabilité de certains outputs mais elle ne l’annule pas. Or, tant que ce principe n’est pas compris, des incidents similaires surgiront à chaque fois qu’on embarquera de l’IA générative dans des produits destinés à des publics vulnérables ou déployés dans des systèmes critiques.
Le risque n’est pas technique : il est organisationnel
Ce qui a échoué dans l’affaire du jouet, ce n’est pas seulement le modèle. C’est le processus de décision qui a conduit à l’intégrer sans en comprendre la nature. C’est la chaîne de validation qui a accepté un system prompt comme substitut à une architecture de sécurité réelle. C’est, en définitive, la gouvernance du produit.
Yann LeCun, directeur scientifique de Meta et lauréat du prix Turing, recommande depuis plusieurs années de ne plus miser l’essentiel sur les LLMs pour cette raison précise : leurs limites ne sont pas des bugs corrigeables, ce sont des caractéristiques structurelles. Connaître cette distinction n’est, techniquement, pas du luxe. Il s’agit plutôt d’une condition préalable à toute décision sur ce que l’on déploie, où et avec quelles garanties.
TL;DR: Ce que ça implique pour les intégrateurs
Embarquer un LLM dans un produit grand public sans audits adversariaux, sans filtres de sortie indépendants du modèle et sans cartographie préalable des outputs à risque, ce n’est pas une décision technique : c’est une décision juridique et commerciale, aux conséquences que l’équipe juridique n’a probablement pas encore évaluées.
Cette évaluation, en 2025, n’est plus facultative.
Publié à l’origine sur LinkedIn le 14 novembre 2025.