La inacabada fábula de los gorriones

El padre de la cibernética -el matemático estadounidense Norbert Wiener- publicó en la icónica revista "Science", un artículo titulado "Algunas consecuencias morales y técnicas de la automatización": una breve exploración sobre la tendencia de las máquinas a desarrollar (cuando comienzan a aprender) "estrategias imprevistas a velocidades que desconciertan a sus programadores". 1960.

Me viene a la mente la experiencia de unos ingenieros de Google que, mientras trabajaban en una IA, descubrieron que esta había aprendido a hablar bengalí. "No lo entiendes del todo. No puedes decir muy bien por qué [la IA] dijo esto, hizo aquello o por qué se equivocó en esto otro. Tenemos algunas ideas y nuestra capacidad para entenderlo mejora con el tiempo. Pero ahí es donde estamos ahora" dijo, en su momento, el director ejecutivo de Google, indo estadounidense Sundar Pichai. Que la IA haya aprendido bengalí no implica riesgo alguno, pero ¿cómo nos protegemos de otros "resultados inexplicables o imprevistos" que sí puedan resultar peligrosos?

Es notable pensar que, en 1960, el propio Wiener había manifestado fuertes reparos sobre las posibles consecuencias del desarrollo de una inteligencia no natural. "Si pudiéramos usar, para lograr nuestros propósitos, una agencia mecánica cuyo funcionamiento no pudiéramos interferir de manera eficiente una vez hubiera empezado, porque la acción fuera tan rápida e irrevocable que no tendríamos los datos para intervenir antes de que la acción se hubiera completado, entonces sería mejor que nos aseguráramos de que el propósito dado a la máquina es el propósito que realmente deseamos y no simplemente una imitación colorida del mismo". Increíble. Con notable sabiduría e imaginación, ya en ese entonces había descripto -de manera impecable-, el "Problema de la Alineación". Día a día se descubren mayores limitaciones para expresar un objetivo de una manera tan rigurosa; tan taxativa y con una lógica tan impecable, que defina con exactitud y de manera inequívoca tanto el problema como el resultado esperado en todas las "condiciones de contorno" y escenarios imaginables; con todas barreras de control explicitadas de manera exhaustiva. ¿Cómo puede ser que, sesenta y cinco años más tarde, sigamos ignorando lo que ya fue pensado de manera tan clara y evidente?

Algunos ejemplos

Supongamos que alguien activa una inteligencia artificial (IA) con el objetivo de producir clips sujetapapeles. Como la IA es superinteligente, si existe una forma de convertir algo en clips de papel, la encontrará. Como además buscará obtener todos los recursos necesarios para su propósito; pronto desviará recursos de otras actividades para cumplir su objetivo. Podríamos querer detener a esa IA, pero "descubre" que nuestros planes podrían frustrar el cumplimiento de su objetivo y se mostrará implacable. Y, como la IA es varios órdenes de magnitud más inteligente que nosotros, de seguro ganará la batalla.

Es una situación en la que un ingeniero activó una IA para una tarea sencilla pero donde, dada su capacidad de automejora, la IA amplía sus capacidades; innova para producir clips de manera más eficiente; desarrolla poder para apropiarse de los recursos que necesita; y, en última instancia, se enfoca en preservar su existencia para poder cumplir su objetivo. La IA es literal y más ingeniosa que cualquier persona, por lo que pronto el mundo estará inundado de clips; incluso a expensas de lo que deba destruir para lograrlo.

La idea es un experimento mental propuesto por Nick Bostrom, un filósofo de la Universidad de Oxford. Bostrom examina el llamado "problema del control"; esto es: ¿cómo podríamos controlar una IA varios órdenes de magnitud más inteligente que nosotros? Y, si bien Bostrom reconoce que el ejercicio mental es "ridículo" el mismo sigue siendo tomado como ejemplo para conceptualizar el "problema del control" el que, a su vez, es apenas una parte del "Problema de la Alineación": poder ser capaces de anticipar y alinear las respuestas de la IA con los objetivos humanos.

Probemos con otro ejercicio mental. Imaginemos una IA potente y en extremo evolucionada a la que le pedimos que elimine el cáncer. La IA podría llegar a la conclusión de que la forma más eficaz de hacerlo es eliminando a todas las especies en las que pueda ocurrir una división incontrolada de células anormales. Así, antes de que podamos darnos cuenta del error, podríamos haber eliminado toda forma de vida sintiente de la Tierra, excepto la propia inteligencia artificial, que no tendría razón alguna para no creer - de manera genuina - que ha completado su tarea con éxito. El "Problema de la Alineación" hoy aparece como un escollo en extremo difícil de resolver.

La IA no te odia ni te ama

La verdad es que, en realidad, cualquier daño que pudiéramos sufrir por parte de una máquina superinteligente no sería resultado de la malevolencia ni de ninguna otra motivación de tipo humano, sino que se podría deber al simple hecho de que nuestra ausencia es un óptimo para el logro de sus fines. "La inteligencia artificial no te odia ni te ama; pero estás hecho de átomos que puede utilizar para otra cosa"; afirma Eliezer Yudkowsky, teórico especializado en temas de seguridad de la IA. El cálculo podría privilegiar a la lógica por sobre la ética; a la eficiencia por sobre la empatía. No necesita odiarnos para dañarnos; basta con que deje de necesitarnos. O que seamos un obstáculo a sus fines.

Nos vamos dejando a nosotros mismos expuestos a un equilibrio inestable. Activar una IA súper inteligente (IAG) podría ser lo último que hagamos. Es notable la poca cantidad de científicos e investigadores que se detienen a pensar en el peligro que significa seguir desarrollando modelos de cajas negras cada vez más potentes y con capacidades emergentes mayores. Ojalá que, en el momento que tengamos la competencia tecnológica requerida para que se desencadene la "explosión de inteligencia" (*); tengamos también el nivel superior de maestría necesario para que esa detonación no sea terminal.

La inacabada fábula de los gorriones

"Comenzaba la temporada de construcción de nidos, pero después de días de largo trabajo, los gorriones se sentaron a la luz del atardecer, relajándose y trinando. Somos todos tan pequeños y débiles. Imaginad lo fácil que sería la vida si tuviéramos una lechuza que nos ayudara a construir nuestros nidos."

"¡Sí!, dijo otro. Y podría ayudarnos a cuidar de nuestros ancianos e hijos. Podría darnos consejo y vigilar a los gatos que merodean cerca de aquí, añadió un tercero".

"Entonces Pastus, el pájaro anciano y sabio, habló: Enviemos exploradores en todas las direcciones e intentemos encontrar una lechuza joven abandonada en alguna parte, o quizás un huevo. Una cría de cuervo también serviría, o una comadreja muy joven. Podría ser lo mejor que jamás nos hubiera sucedido, al menos desde la apertura del «pabellón de grano ilimitado» del patio trasero".

"La multitud estaba entusiasmada, y por todas partes los gorriones comenzaron a trinar con toda la fuerza de sus pulmones. Sólo Scronkfinkle, un gorrión con un temperamento inquisitivo no estaba convencido de la sensatez de la empresa. Y dijo: Eso seguramente sea nuestra perdición. ¿No deberíamos pensar antes en la labor de domesticar y controlar a la lechuza, antes de meter una criatura así entre nosotros?"

"Pastus contestó: Domesticar una lechuza parece una cosa muy difícil. Ya será bastante complicado encontrar un huevo de lechuza. Así que empecemos con eso. Cuando logremos criar a una lechuza, nos pondremos a pensar en emprender esa otra tarea".

"¡El plan tiene un defecto!, pió Scronkfinkle; pero la multitud ya había alzado el vuelo para empezar a llevar a cabo el plan ideado por Pastus".

"Sólo dos o tres gorriones se quedaron rezagados. Juntos empezaron a intentar adivinar cómo se podría domesticar y controlar a una lechuza. Pronto se dieron cuenta de que Pastus tenía razón: era un reto en extremo difícil, sobre todo por carecer de una lechuza real con la que practicar. No obstante, continuaron haciéndolo lo mejor que pudieron, con el temor constante a que la multitud regresara con un huevo de lechuza antes de encontrar una solución al problema de cómo controlar esa criatura".

El texto está extraído del libro "Superinteligencia" de Nick Bostrom. No se sabe cómo termina la historia, pero, hoy, yo asumo el rol de Scronfinkle a pesar de las palabras, por ejemplo, de Andrew Ng -un líder mundial en el desarrollo de la IA- quien asegura que, preocuparse por una IA fuera de control, es como preocuparse por la superpoblación en Marte. "Podría haber una raza de robots asesinos en un futuro lejano", dice Ng -en teoría, cualquier cosa es posible-; "pero… no tiene sentido trabajar en eso ahora". El argumento de Pastus.

No me preocupa la superpoblación en Marte. Pero creo que podríamos estar más cerca de lograr una IAG que de vivir en Marte. Así, ¿cómo podríamos protegernos si el resultado de lograr esta IAG -o de quedar expuestos a una "explosión de inteligencia"-, representara un peligro existencial? ¿Nos llegaremos a dar cuenta del error antes de extinguirnos?

Sin ser tecnófobo, creo que no nos damos cuenta de que la tecnología se está convirtiendo en el mayor problema del siglo; y, mucho más aún, la fe ciega que una humanidad tecnólatra profesa por ella. Confieso que me gustaría vivir en Marte; pero no quiero que una IA utilice mis átomos para construir la nave que nos lleve.

(*) "Explosión de inteligencia". Escenario teórico en el que una inteligencia artificial se mejora a sí misma a velocidades exponenciales superando a la inteligencia humana tan rápido que se hace incontrolable.