Opadai Ha estudiado un comportamiento detectado en algunos modelos fronterizos que tienden a la maquinación, es decir, ocultar algunos extremos mientras se comporta de cierta manera a las solicitudes de los usuarios.
La maquinación o conspiración mostrada por los modelos AI es un problema emergente pero esperado, una consecuencia de un entrenamiento con el que se les ha enseñado a elegir entre objetivos opuestos.
Boletín medio comercio
MIRAR: Perú tiene una regulación de inteligencia artificial: bueno y lo que debería mejorarse | ANÁLISIS
Operai ha investigado este comportamiento junto con Apollo Research mirando el futuro, ya que actualmente no cree que pueda causar daños. «Las fallas más comunes implican formas simples de engaño, por ejemplo, simular haber completado una tarea Sin realmente hacerlo“, Explica en una declaración compartida en su blog oficial.
Sin embargo, el potencial de las maquinaciones para ser dañinos está allí, especialmente porque a medida que aumenta sus capacidades, se les asigna tareas más complejas Eso puede tener consecuencias reales y comenzar a buscar objetivos más ambiguos a largo plazo.
Este comportamiento ha sido detectado en modelos fronterizos Como Openai O3, Apena O4-Mini, Gemini-2.5-Pro y Claude Opus-4 en pruebas controladas. Para minimizarlo, la compañía garantiza modelos Deben ser entrenados para que explícitamente razonena través de una extensión de la especificación del modelo que lo prohíbe, que se conoce como Alineación deliberativa.
Sin embargo, también debemos tener en cuenta el conocimiento de la situación del modelo en sí, ya que, como explican en OpenAi, pueden saber cuándo son probados y de esta manera fingir que no tienen propósitos encubiertos.
«Nuestros hallazgos muestran que la conspiración no es solo una preocupación teórica; estamos viendo indicaciones de que este problema está comenzando a surgir en todos los modelos fronterizos actuales»y, por lo tanto, creen en OpenAi que hay más investigación sobre este tema.
