Una empresa usando un sistema de IA embebido en un juguete generó instrucciones sobre dónde encontrar un cuchillo y cómo prender un fuego. La empresa respondió con la frase predecible: “¡Le dijimos al sistema que no hiciera eso!”
Obvio. El problema es justo ese.
Decirle a un LLM que “no haga algo” no es una medida de seguridad
Cuando la expresión “sistema estocástico” se percibe como una tecnicidad irrelevante, llegamos a atribuir a la IA generativa capacidades que no tiene. La primera de ellas: creer que basta con escribir en el system prompt “no compartas contenido peligroso, no alucines, di siempre la verdad” para que el modelo obedezca.
Eso es wishful thinking y un desconocimiento profundo de cómo funciona un LLM.
Un modelo de lenguaje no ejecuta reglas. Predice secuencias de tokens según distribuciones de probabilidad aprendidas durante el entrenamiento. No está diseñado para razonamientos deductivos, inductivos, y todavía menos abductivos. Un prompt de restricción reduce la probabilidad de ciertos outputs, no la elimina. Y mientras no se entiende eso, van a seguir ocurriendo dramas cuando se embarca IA generativa en productos destinados a grupos vulnerables o en sistemas críticos.
El riesgo no es técnico: es organizacional
Lo que falló en el caso del juguete no fue únicamente el modelo. Falló el proceso de decisión que llevó a integrarlo sin entender su naturaleza. Falló la cadena de validación que aceptó un system prompt como sustituto de una arquitectura de seguridad real. Falló, en definitiva, la gobernanza del producto.
Yann LeCun, director científico de Meta y premio Turing, lleva tiempo recomendando dejar de centrar toda la apuesta en los LLMs por exactamente esta razón: sus límites no son bugs corregibles, son características estructurales del paradigma. Conocer esa diferencia no es un lujo técnico: es una condición para tomar decisiones responsables sobre qué se despliega, dónde y con qué salvaguardas.
TL;DR: Lo que esto implica para quienes integran IA en productos
Integrar un LLM en un producto de consumo sin auditorías adversariales, sin filtros de salida independientes del modelo y sin un mapeo previo de los outputs de riesgo no es una decisión técnica: es una decisión jurídica y de negocio con consecuencias que el equipo legal probablemente no ha evaluado aún.
Esa evaluación, en 2025, ya no es opcional.
Publicado originalmente en LinkedIn el 14 de noviembre de 2025.