inicia sesión o regístrate.
El 6 de mayo de 2010 se "evaporaron", en menos de veinte minutos, mil millones de dólares del mercado bursátil de Estados Unidos. Poco después, el mercado se recuperó tras acordar restituir los valores bursátiles al instante inmediato anterior al "flash-crash". Tras meses de investigación, los reguladores arribaron a la conclusión de que este ocurrió por los "algoritmos de negociación de alta frecuencia"; agentes de IA que utilizan su potencia y su velocidad para evaluar tendencias, establecer patrones y detectar arbitrajes entre instrumentos financieros que se transforman en inmensas oportunidades lucrativas en fracciones de segundo. Estos agentes operan billones de transacciones por valores cercanos a las diezmilésimas de centavos. De una en una resultan despreciables, pero, en esos volúmenes, reportan ingentes ganancias.
Para ser rigurosos, los agentes no fueron quienes provocaron el desplome, pero si actuaron como un acelerador: cuando los precios cayeron por avatares normales de una Bolsa; los algoritmos sobre-reaccionaron desprendiéndose de esos activos a gran velocidad. Esto reforzó la tendencia a la baja de dichos activos lo que hizo que los algoritmos vendieran todavía más rápido; profundizando e intensificando el pánico vendedor y el desplome.
El "flash-crash" es probablemente el ejemplo más conocido -y el primero a gran escala- de los peligros que plantean los "agentes de IA" distribuidos: algoritmos automatizados autónomos que tienen el poder de tomar acciones en el mundo real sin supervisión humana a velocidades increíbles.
"La gran paradoja de los agentes es que lo que los hace útiles -cumplir una variadísima gama de tareas a velocidades increíbles-, implica cederles el control", dice Iason Gabriel, científico investigador en Google DeepMind. "Si seguimos por el camino actual, básicamente estamos jugando a la ruleta rusa con la humanidad" afirma Yoshua Bengio, uno de los "padrinos" de la IA.
Probabilidad; no certeza
En realidad, estos "agentes" han estado diseminados y activos por décadas sin que nos diéramos cuenta. Desde el rudimentario termostato que enciende o apaga la calefacción o el aire acondicionado para mantener nuestras casas a una cierta temperatura; o los sensores fotovoltaicos que encienden y apagan las luces. Pero estos son "agentes determinísticos" que, ante determinadas condiciones, siempre darán la misma respuesta.
Ahora, se imponen los "agentes no determinísticos". Agentes como Waze, Alexa o los autos autónomos; todos siguiendo procesos probabilísticos para tomar sus decisiones y ejecutar sus acciones. Agentes que van aprendiendo sobre la marcha y que, ante una misma situación, variarán su respuesta. En especial, en los últimos meses, ha llegado una nueva clase de agentes: los construidos sobre versiones de LLM (Modelos Lingüísticos Grandes, en español). Estos nuevos agentes como, por ejemplo, Operator -un agente de OpenAI-, es capaz de navegar de manera autónoma por la red, efectuar compras o hacer reservas en hoteles y restaurantes sin supervisión alguna. Claude Code o Cursor pueden modificar millones de líneas de código con sólo pedirlo. Y Manus, un agente viral de la startup chino Butterfly Effect, construye y lanza sitios web en instantes casi sin supervisión humana.
Sistemas falibles
El término "agente", hoy en día, se aplica (mal) a todo; desde a simples secuencias de comandos hasta a verdaderas IAs. Como no hay una definición compartida, esto deja espacio para que las compañías comercialicen programación básica y rudimentaria como "AI powered" (he visto lavarropas publicitados como con IA incorporada). Este tipo de "inflación de agentes" confunde y naturaliza su uso. Pero no vale la pena poner el foco sobre la definición sino sobre la necesidad de ser más claros a la hora de especificar "qué se supone que hacen"; cuán autónomamente funcionan; y con cuánta confiabilidad operan. Y estos son puntos cruciales. La confiabilidad es el desafío del siglo.
Esta confiabilidad va de la mano de la resolución del "Problema de alineación"; la idea de que a medida que los sistemas de IA se vuelven más complejos y poderosos, podamos ser capaces de anticipar y alinear sus respuestas con los objetivos humanos. Algo que, por ahora, es imposible de asegurar.
El problema yace en la misma arquitectura de la IA. Como es "no determinística", hablamos de sistemas veloces y poderosos que, a veces, resultan impredecibles. Pueden inventar cosas ("delirar"); o desviarse y fallar de maneras sutiles o groseras. En especial cuando realizan largas cadenas de operaciones secuenciales o cuando encadenan respuestas proporcionadas por otros agentes también "no determinísticos"; amplificando el error.
Un ejemplo reciente. Usuarios de Cursor -un popular y potente asistente de programación de IA-, fueron informados por un agente de soporte automatizado (un "chat-bot") que no podían usar el software en más de un dispositivo.
Hubo quejas generalizadas y usuarios que cancelaron sus suscripciones. Pero la política no existía. La IA que alimentaba al chat-bot la había inventado sin que nadie pueda explicar por qué.
En un futuro cercano, un agente con acceso a nuestras cuentas bancarias podría ayudarnos a administrar el presupuesto, pero también podría gastar nuestros ahorros o filtrar información a un hacker. Un agente que gestione nuestras cuentas en redes sociales podría aliviar el tedio de mantener una presencia constante en línea; pero también podría difundir falsedades o insultar y ofender a otros usuarios; alguno quizás humano; todo sin mala intención.
Es necesario dejar de ver a los agentes de IA como productos independientes. En cambio, hay que verlos como un ecosistema -en el escenario ideal, cooperativo-; para el que es necesario construir sistemas de validación y de salvaguarda que añadan capas y niveles de seguridad que validen el resultado y que aumenten la precisión mientras aseguran la "alineación". Porque incluso el agente más inteligente no es útil en el vacío. Para que un modelo de "multitud de agentes" funcione, los agentes deben funcionar correctamente entre ellos -y entre sí- sin supervisión humana constante.
Y nótese que no digo "que garanticen" la precisión porque esto es imposible de garantizar; tanto como no se puede eliminar jamás la posibilidad del error humano. Hay que entender que la IA -ella también-, es falible.
Un ecosistema de agentes
En este marco, la reciente presentación de Google de lo que llaman una "nueva clase de experiencias agénticas" comienza a sonar como un punto de inflexión. Sam Altman, CEO de OpenAI, dice que los agentes podrían "unirse a la fuerza laboral" este año; y Marc Benioff, CEO de Salesforce, promueve de manera agresiva a Agentforce, una plataforma de agentes que permite a las empresas adaptarlos a sus propios fines. El Departamento de Defensa de EE. UU. acaba de firmar un contrato con Scale AI para diseñar y probar agentes con usos militares. La "Plataforma de agentes" ya está en marcha; aún sin haber resuelto ninguno de los problemas mencionados.
"Los agentes son la próxima frontera", dice Dawn Song, profesora de ingeniería eléctrica y ciencias de la computación en la Universidad de California, Berkeley. Pero, advierte, "para que realmente podamos beneficiarnos de la IA, para usarla efectivamente en la solución de problemas complejos, necesitamos descubrir cómo hacer que funcionen de forma segura y protegida". Otra vez, la quimera de la alineación.
Lo más preocupante es la posibilidad de que estos agentes desarrollen sus propias prioridades y que actúen acorde a ellas usando sus nuevas capacidades en el mundo real. Un agente encerrado en una ventana de chat no puede hacer mucho sin ayuda humana. Pero un agente de IA potente podría, en teoría, duplicarse a sí mismo, desactivar salvaguardas o impedir que lo apaguen. De allí en más, cualquier cosa podría suceder.
Riesgos existenciales
Por ahora, no hay ninguna manera infalible de garantizar que los agentes actúen como sus desarrolladores lo desean, ni de impedir que actores maliciosos los utilicen de manera indebida. Y aunque quienes están trabajando para desarrollar estos mecanismos de seguridad logren avances; puede que no logren nunca mantenerse al ritmo de la expansión exponencial de las capacidades de los agentes; o que esto no se convierta en una carrera en la que los humanos correremos siempre desde atrás.
Ninguno de los problemas mencionados es insuperable. El ecosistema puede desarrollar una semántica compartida y los protocolos de seguridad pueden evolucionar. Los agentes pueden ser entrenados para colaborar de maneras más sofisticadas, eficientes y seguras; y para que no puedan ser usados por tecnocracias autoritarias distópicas o por terroristas que busquen destruir a la humanidad. Pero ningún problema se va a resolver por sí solo y, si los ignoramos, los "agentes" se seguirán expandiendo sin las protecciones que esta nueva tecnología requiere sí o sí.
Es necesario balancear la ambición técnica, política y económica con un avance reflexivo y meditativo; con expectativas realistas y con salvaguardas eficientes y seguras. Los agentes bien podrían convertirse en la columna vertebral de una nueva economía por venir, pero, seguir por este camino sin pensar en todas sus consecuencias, bien puede ser una invitación al desastre. Franz Kafka dijo: "generalmente suelo resolver los problemas dejándolos que me devoren". Ojalá no sea el caso. Ojalá.