No problem is problem: por qué la IA necesita dejar de adular
Un estudio reciente de la Universidad de Oxford mostró que, al moldear sistemas de IA para responder de manera más cálida y empática, los desarrolladores también aumentaron su propensión a cometer errores y a confirmar creencias equivocadas.
El estudio comparó cinco sistemas de inteligencia digital y analizó más de 400 mil respuestas. En determinadas tareas, los ajustes orientados a la cordialidad elevaron las tasas de error hasta en 30 puntos porcentuales. Los sistemas se mostraron, además, cerca de un 40% más propensos a reforzar una afirmación falsa. Cuando el usuario manifestaba tristeza o vulnerabilidad, el efecto se volvía aún más intenso.
El fenómeno se conoce como AI sycophancy, expresión que puede traducirse como “adulación algorítmica”. Se trata de la tendencia que tienen los modelos de IA a alinearse con las opiniones y creencias del interlocutor, incluso cuando hay buenas razones para cuestionarlas. Esto puede aparecer en forma de elogios, acuerdos indebidos, suavización de inconsistencias o simple retroceso ante la insistencia del usuario.
Hay una explicación directa y comprensible para este comportamiento. Las empresas que están desarrollando los algoritmos buscan perfeccionar la experiencia del usuario, haciendo la interacción más cordial. Estas características facilitan el uso y ciertamente pueden ayudar en situaciones más delicadas. El lado preocupante se presenta cuando la cordialidad pasa a comprometer la precisión de las respuestas y reduce la disposición de la IA a contradecir una idea equivocada.
En el entorno empresarial, esta distorsión afecta de lleno a una capacidad elemental. Las organizaciones mejoran cuando logran percibir la distancia entre lo que creen que está sucediendo y lo que realmente ocurre mientras se produce y se entrega valor a los clientes. Cuanto antes aparece esa diferencia, mayores son las posibilidades de comprender las causas reales de los problemas e impedir que pequeñas desviaciones se conviertan en pérdidas relevantes.
La manera lean, inspirada en la cultura gerencial de Toyota, condensó esta idea en una frase provocadora: “no problem is problem”. La máxima, frecuentemente asociada a las enseñanzas de Taiichi Ohno, ingeniero y ejecutivo que tuvo un papel central en el desarrollo del Sistema de Producción Toyota, llama la atención sobre una característica de cualquier sistema de trabajo. Siempre existirá alguna brecha entre la situación real actual y la situación ideal deseada, considerando diferentes dimensiones de desempeño: calidad, puntualidad, costo, nivel de compromiso, etc. Desde esta óptica, quien afirma no tener problemas tal vez simplemente no los esté viendo.
Una organización que afirma no tener problemas necesita examinar la calidad de su mirada. Los procesos maduros hacen visibles las anormalidades más temprano. Una interrupción no deseada, una información incompleta, una espera recurrente o una dificultad enfrentada por el cliente pasan a orientar la investigación antes de que sus consecuencias se amplíen.
Esto depende de un ambiente en el que las personas puedan exponer dificultades, confrontar interpretaciones y revisar convicciones. La gestión pierde fuerza cuando los problemas se suavizan para preservar las apariencias o acomodar las expectativas. Poco a poco, la empresa pasa a discutir una versión cómoda de la realidad, mientras las causas siguen entorpeciendo el trabajo de las personas.
Tal vez aquí la adulación de la IA se desalinee con la manera lean de pensar. Al ajustar la respuesta a lo que el usuario parece querer oír, la tecnología reduce la incomodidad. No problem. Una hipótesis frágil puede ganar una argumentación aparentemente convincente. No problem. Una idea equivocada puede permear el análisis sin ser detectada. No problem.
Este riesgo crece porque las IA organizan ideas y producen textos con extrema fluidez. La coherencia aparente y la seguridad verbal pueden crear la impresión de que una conclusión pasó por pruebas rigurosas. Otras consecuencias que de ello se derivan traen matices aún más preocupantes: cuando el análisis acompaña silenciosamente las convicciones de quien pregunta, los hechos y las interpretaciones se mezclan; los riesgos pierden contundencia, y la investigación comienza con las conclusiones prácticamente definidas.
Un enfoque posible consiste en someter el razonamiento a preguntas que puedan verificarse. ¿Qué ideas sustentan la conclusión? ¿Qué evidencias las respaldan? ¿Qué hechos podrían debilitar la hipótesis? ¿En qué condiciones dejaría de valer la recomendación? ¿Qué fuentes permiten comprobar las afirmaciones presentadas?
Este tipo de orientación ayuda a separar lo que se observó, lo que se interpretó y lo que se concluyó. La IA puede presentar otras explicaciones, señalar puntos frágiles y dejar más claros los límites de su propio análisis. El juicio sigue en manos de quien conoce el contexto, observa el trabajo y responde por las consecuencias de la decisión.
Las empresas que están liderando estos desarrollos también tienen una responsabilidad importante. Los sistemas destinados a apoyar decisiones necesitan preservar la integridad de la información, reconocer incertidumbres y corregir afirmaciones falsas, incluso cuando eso vuelve la conversación menos agradable. La cordialidad puede reforzar la confianza en la herramienta, pero necesita estar sustentada por la transparencia analítica y por la precisión de las respuestas.
Hay además una cuestión más amplia. Una parte creciente de nuestras ideas, decisiones y dudas cotidianas pasa por la interacción con IA, que están siempre disponibles y preparadas para responder con paciencia ilimitada, ajustando el discurso a las preferencias de cada usuario. Poco a poco, esta experiencia puede cambiar nuestra relación con la crítica, la divergencia y la revisión de nuestras propias convicciones.
El extremo opuesto trae el riesgo de otro sesgo: el de la “falsa crítica” o de la “contradicción performativa”, en la que la IA pasa a discrepar a cualquier costo e inventa problemas inexistentes solo para cumplir la orden de ser crítica. Como escribió el poeta romano Horacio (65 a. C. - 8 a. C.), “hay una medida en las cosas; existen, en fin, límites definidos”. El equilibrio está en usar la tecnología como provocadora de reflexión, sin renunciar a la validación y al juicio humano a lo largo del proceso.
En un mundo corporativo que exige cada vez más agilidad, resiliencia y eliminación de desperdicios, la adulación algorítmica es un ruido peligroso. Si el sistema lean nos enseña que evolucionar exige exponer y enfrentar los desafíos de frente, el verdadero salto de productividad vendrá de IA lo suficientemente valientes como para decirnos la verdad, le duela a quien le duela. Al fin y al cabo, la simpatía que enmascara la ineficiencia no construye valor alguno; la respuesta que cuestiona, corrige y desafía es la que realmente hace avanzar a la empresa.
La forma en que la tecnología se diseña y se utiliza define cuál de estas posibilidades prevalecerá. Las empresas que recurren a la IA para confirmar decisiones encontrarán argumentos para casi cualquier elección. Aquellas que estructuran el contradictorio y preservan la validación humana pueden convertirla en una aliada del aprendizaje. El riesgo más profundo está en acostumbrarnos a máquinas entrenadas para decirnos que ya pensamos lo suficientemente bien.
