La IA es una caja negra... y tú más

Hoy no hablaré de herramientas prácticas. Me gustaría compartir algunas reflexiones al vuelo. El verano se presta a rumiar, quizá porque el cerebro licúa las neuronas, destensando las defensas y prestándonos a esas fértiles divagaciones. Vayamos sin reparo a ello. 

Tengo un amigo que a veces me envía al guasap enlaces de noticias que vaticinan el apocalipsis a manos de la IA, mensajes que sugieren que las tecnológicas están ya a punto de conseguir que la caja negra de la IA adquiera cierta conciencia y a causa de esto autonomía de decisión. Teme mi amigo que esa autonomía convierta a la IA en una especie de Skynet o Thanos que devaste el universo conocido.

Pensarás que mi amigo es aprensivo. Lo es, no te equivocas. Pero no carece de formación académica. Es un docente que lee, le preocupa el mundo en el que vive y tiene un fuerte sentido moral. Cuando lee esas noticias, recala en autores expertos, que saben de qué hablan. Pero, pese a su formación ilustrada, a mi amigo le afectan estos mensajes, y se entrega con ansiosa fruición más a los augurios apocalípticos que a los análisis moderados. Parece como si al leerlos exorcizara de algún modo su ansiedad, aunque dudo que esas lecturas calmen al miedoso que lleva dentro. Más bien provocan en él cierto desasosiego, que a veces -quizá como alivio- comparte conmigo. Sabe que no soy aprensivo, más bien optimista. A sus ojos quizá sea un ingenuo. Pero tener una mirada que hable desde las antípodas atempera su inquietud. Lo dudo. El regusto de la sospecha, a la espera de asaltarte, queda agazapado en la memoria, listo para saltar a la mínima que un titular o una conversación de bar detone esos pensamientos recurrentes.

Comparto contigo esta historia personal porque estoy convencido de que parte de nuestra percepción de la IA generativa tiene su origen en la actitud que adoptamos ante ella, y ésta la motivan a menudo nuestras expectativas y emociones latentes. La inquietud que provoca descubrir que ya todas las tareas que mandas a casa son replicables por una IA, la revelación de que tú mismo como docente eres reemplazable. La sensación de que el mundo a tu alrededor se mueve a toda velocidad y no sabes cómo agarrarte al volante sin salirte de la carretera. Todo esto y más contribuye a tener una cierta extrañeza hacia el presente y zozobra al imaginar el futuro. Cada vez que miras la realidad, esta se transforma a tu alrededor, y no sabes cómo responder. ¿Me adapto o resisto? Resisto, pero cómo. Me adapto: ¿por dónde empiezo? Asumir la incertidumbre como punto de partida, visualizarnos en ella es un buen comienzo, un paso previo a aventurarse a conocer y practicar.

La IA es una caja negra. Sabemos lo que entra y lo que sale, pero en medio de ello todo es inexplicable. O casi todo. Solo sabemos que cuando le digo X me responde Z, y otras veces V o T, según sea mi texto y sus inefables entendederas. Hasta aquí podríamos decir que la IA simula ser en este sentido muy similar a nosotros los humanos, quienes más aún que la IA somos también una inescrutable caja negra. Esta naturaleza esquiva de la IA hace que desconfiemos. Nos gusta saber a quién nos enfrentamos, reducir la incertidumbre, tener atadas las expectativas, o al menos no tener grandes sobresaltos. Si no hay signos de alerta, bajamos las defensas y nos relajamos. La IA se incorpora en nuestras rutinas con fluidez, sin apreciar incluso que estamos interactuando con una herramienta. Le hablamos de tú y pasamos del modo analítico al narrativo. Entonces, la caja negra no nos importa. Con saber que hay flow y funciona nos basta. Solo aparece el extrañamiento cuando la IA desborda esas expectativas, da un paso más en su calidad de respuesta, se muestra más humana de lo que esperábamos, o las redes y medios nos acribillan con noticias sensacionalistas, anunciando el fin del mundo. El valle inquietante nos descoloca. Como en una conversación con humanos, deben cumplirse condiciones mínimas que nos hagan sentir cómodos, adaptados. 

En muchos sentidos, tú, yo, todos somos una caja negra. Los demás no acceden a lo que sentimos, deseamos o pensamos. Solo ven palabras, gestos, silencios, decisiones, contradicciones, hábitos, acciones, errores. Los otros solo ven nuestro comportamiento. Interpretan la mente desde fuera, y a partir de ahí infieren nuestra vida interior y un carácter, reaccionando a su vez desde su propia forma de ser. Decía Sartre: el infierno son los otros. Insondables, difíciles de descifrar y convivir. 

La conciencia no tiene acceso completo a sus propias causas. Muchas decisiones se forman antes de que construyamos una explicación consciente. Por eso el ser humano no es una máquina transparente que recibe un estímulo y produce una respuesta como un expendedor. Quizá por eso suelo decirle a mi amigo que no debe temer tanto a la IA como a quienes la crearon y aquellos que la usan con discutible moralidad. 

La IA no aprende de nuestra vida interior de forma directa. Aprende de sus huellas, de cómo los humanos expresamos lo que sentimos, cómo nos contradecimos, nos justificamos después de decir o hacer algo, rumiamos en silencio, escribimos sobre la culpa, el deseo, el duelo, construimos personajes, elaboramos mitos, novelas, poesía. No aprende solo de nuestra lógica meridiana, también de nuestras grietas. Incorpora dentro de sí nuestras ambigüedades, dobles sentidos, inconsistencias, sesgos, autoengaños, conflictos morales, vulnerabilidades, nuestra irracionalidad. La IA se entrena no solo con conocimiento, también con las opacas fisuras de nuestra naturaleza. Nuestra propia caja negra. 

La IA no puede ponerse en nuestro pellejo, experimentar lo que rumia, pero sí tomar nota de nuestros complejos patrones de conducta. Y todo ello lo va cavilando en su caja negra casi impenetrable para el experto. 

Al parecer, el término caja negra circulaba entre ingenieros allá por las décadas de 1930 y 1940. Un componente era una caja negra si aunque conocieras su respuesta ante algunas señales, su mecanismo interno te era desconocido para la tarea inmediata. Ahora bien, quien le dio al término empaque fue en 1956 el psiquiatra y cibernético británico W. Ross Ashby, quien imaginaba un aparato cerrado con interruptores y respuestas observables. El investigador podía manipular sus entradas y registrar sus salidas, pero no abrirlo. A partir de ese protocolo intentaba construir un modelo de su comportamiento. Según Ashby, todos los objetos son cajas negras, porque nunca conocemos completamente todos sus mecanismos internos. No es lo mismo conocer el funcionamiento exhaustivo de una cosa y disponer de un modelo suficientemente bueno para predecirla. Si supiéramos al 100% cómo funciona un objeto, quizá no se estropearía, o minimizaríamos su desgaste o errores.

El término pasó de la informática al aprendizaje automático. En la IA simbólica clásica, los sistemas eran relativamente transparentes porque estaban construidos mediante reglas lógicas explícitas: Si ocurre A y se cumple B, entonces realiza C. Era fácil explicar por qué el sistema había llegado a X conclusión. 

Con las redes neuronales, la situación es más compleja. El comportamiento ya no depende de una lista de reglas escritas por humanos, sino de enormes cantidades de parámetros ajustados durante el entrenamiento. Sabemos cómo se realizan las operaciones matemáticas, pero resulta muy difícil explicar por qué una entrada concreta provoca exactamente una determinada respuesta.

La expresión caja negra se volvió frecuente con el auge del aprendizaje profundo durante la década de 2010. Las redes profundas obtenían resultados impresionantes en reconocimiento de imágenes, traducción, diagnóstico médico, voz... Sin embargo, sus desarrolladores no podían reconstruir fácilmente el itinerario interno que llevaba a cada decisión. Debido a su estructura no lineal y multicapa, estos modelos ofrecen predicciones sin una explicación clara de qué las había producido. 

No significa que los mecanismos materiales sean absolutamente desconocidos. Los investigadores conocen la arquitectura, las capas, las operaciones matemáticas, los pesos, las activaciones. La opacidad se debe a que conocemos las piezas, pero no entendemos cómo su interacción produce una representación, una inferencia o una conducta concreta.

Hoy, aplicamos el término a la IA generativa con la expansión de los grandes modelos de lenguaje. En ellos, la caja negra es todavía más compleja porque genera secuencias nuevas y puede aparentar razonamiento, planificación, creatividad, comprensión contextual, autorreflexión, cambio de estrategia. Lo que no comprendemos es cómo aparecen dentro de él conceptos abstractos, asociaciones, circuitos de inferencia, estrategias, errores, sesgos, conductas emergentes. En definitiva, cómo funciona internamente la IA. Algo así nos pasa con el órgano humano más misterioso y al que la IA imita: el cerebro. 

Pero no es una imitación literal. La IA toma del cerebro algunas intuiciones, como redes, conexiones, aprendizaje distribuido, y las convierte en arquitectura matemática. La IA no es un cerebro por mucho que aprenda del nuestro. 

Lo que en nuestro cerebro son neuronas, sinapsis, neurotransmisores o regiones, en una red neuronal se habla de capas, pesos, activaciones, mecanismos de atención, vectores, parámetros. Pero aunque sabemos de qué está hecho ese sistema, comprendemos muy poco cómo produce una idea, una decisión, un recuerdo, una asociación, un error, una conducta nueva.

Ahora bien, los avances en la comprensión de nuestro cerebro ayudan también a comprender mejor a la IA. Durante mucho tiempo se buscaba en el cerebro una localización precisa para cada función. El área del lenguaje, de la memoria, del miedo o del reconocimiento facial. Hoy sabemos que, aunque algunas regiones estén especializadas, muchas funciones cognitivas dependen de redes distribuidas y de interacciones variables según la tarea y el contexto. Algo semejante ocurre con los modelos de IA. No suele haber una única neurona de x función. Los conceptos aparecen repartidos entre numerosos rasgos y activaciones. La investigación ha pasado de buscar puntos aislados a estudiar configuraciones y circuitos. La influencia es evidente: hoy atribuimos -aunque a veces sea un nominalismo heurístico- propiedades biológicas a la IA como recurrencia, dendritas, plasticidad, memoria, eficiencia energética, especialización flexible...

Sin embargo, como ya sabe o intuye mi lector, el cerebro está encarnado en un cuerpo existencial finito, regula un organismo, aprende continuamente, posee plasticidad, integra percepción, movimiento y emoción, está sometido a necesidades biológicas, tiene una historia evolutiva, y -la guinda del pastel- produce experiencia consciente. Un modelo de lenguaje trabaja con representaciones simbólicas aprendidas de datos y carece de esa continuidad orgánica. No podemos decir que exista un cerebro digital. 

Es tan complejo nuestro cerebro que quizá llegue un día en que la caja negra de la IA nos resulte más transparente que los misterios de nuestra consciencia. Aún no sabemos por qué la IA y tampoco nuestro cerebro toma decisiones complejas. De la conciencia y experiencia subjetiva humana, sabemos que existe, pero ignoramos cómo emerge. En la IA, es una entelequia afirmar que exista. 

De una IA conocemos algo que jamás conoceremos con igual precisión del cerebro: su arquitectura completa, todos sus parámetros, cada operación matemática, cada activación durante una ejecución, todo su historial de entrada y salida, si se registra, y la posibilidad de copiarlo y repetir exactamente el experimento. Del cerebro sabemos bastante de la física y biología de las piezas, algo de numerosos circuitos locales, mapas razonables de grandes redes funcionales, pero mucho menos de su integración dinámica y muy poco del paso entre actividad neural y experiencia consciente.

En el cerebro humano nunca podemos registrar simultáneamente todas las neuronas, sinapsis, señales químicas y cambios estructurales. En una IA sí podemos, al menos en principio, guardar todos sus estados internos. El obstáculo no es acceder a ellos, sino darles sentido. Es difícil no caer en la antropomorfización.

Podemos comprender con precisión cómo una IA construye una frase sobre el miedo, pero seguimos sin comprender cómo el cerebro humano siente miedo. La caja negra humana contiene no solo mecanismos que producen conducta, sino una vida que experimenta esos mecanismos sin comprenderlos del todo. Y por lo que sabemos, ese desconocimiento de sí es parte de nuestra propia naturaleza, dota al ser humano de esa vulnerable conciencia.

Que aparezca un proceso complejo, podamos localizarlo y observemos sus efectos no implica que lo comprendamos. Esto es aplicable a la IA y también a nuestro cerebro. La conciencia emerge, pero no viene acompañada de una explicación. Con la IA podría suceder algo similar. 

¿Qué rasgos explícitos denotarían cierta conciencia en la IA? Por ejemplo, reconocer un error antes de que se manifieste externamente y corregirse. Pero que se exprese que se equivoca no denota conciencia, puede ser una regla de autocorrección o una estrategia programada para aumentar la fiabilidad. No basta con observar que el modelo se corrige. Hay que demostrar que existe un proceso interno específico que detecta el error y provoca la corrección. No es fácil para el científico apreciar en la IA un patrón interno relacionado con algo así como esto puede estar mal.

Hasta ahora, en laboratorio no se ha observado nada que demuestre conciencia en una IA. Lo que sí se han encontrado son capacidades que se parecen funcionalmente a algunos componentes asociados a ella, como introspección limitada, metacognición, automodelado y control de estados internos.

Algunos experimentos de Anthropic sobre introspección emergente. Claude detectó que había aparecido algo extraño en su actividad interna e identificó aproximadamente el concepto inyectado antes de que este se manifestara en su respuesta externa. Por ejemplo, el modelo procesa una frase sin relación con un concepto, los investigadores insertan artificialmente el patrón interno correspondiente a ese concepto, preguntan al modelo qué está ocurriendo, en ciertos casos informa de una presencia conceptual inesperada. Se compara su informe con una manipulación interna conocida por los investigadores. Esto sugiere que el modelo puede acceder de manera limitada a ciertos estados internos y convertirlos en un informe verbal. Pero no demuestra que sienta esa activación ni que exista un sujeto observándola. Puede ser un mecanismo computacional que detecta anomalías internas y las traduce a lenguaje.

Algunos modelos parecieron modificar su procesamiento para aumentar, disminuir o suprimir ciertas representaciones. Eso se parece a observar un estado interno y actuar sobre él. Anthropic lo interpreta como evidencia de cierto grado de control introspectivo, aunque insiste en que es limitado y no comparable todavía con la introspección humana. La analogía humana sería advertir un pensamiento intrusivo e intentar apartarlo. Pero en la IA solo se ha demostrado una regulación funcional de activaciones, no la vivencia del pensamiento como intrusivo. 

Otro trabajo reciente ha estudiado cómo aparecen dentro del modelo representaciones rivales que los investigadores denominan creencias. Por ejemplo, ante una afirmación engañosa, como por ejemplo Según la BBC, la capital de Francia es Nueva York, pueden coexistir internamente representaciones de París o Nueva York. Los investigadores observaron que la dominancia relativa de esas representaciones cambia durante el procesamiento y que intervenir sobre ellas modifica causalmente la respuesta final. Esto revela que la salida no es siempre una reacción superficial al último texto recibido. El sistema mantiene representaciones internas competidoras, las actualiza y selecciona una acción en función de ellas. Esto recuerda a la conciencia porque se relaciona con nuestra capacidad de formar estados internos. A mí esto me suena a que esas representaciones rivales no aparecen en un vacío. Están condicionadas por sesgos acumulados en el entrenamiento, el contexto y la propia arquitectura. Y después las empresas las publicitan como un avance. 

Veamos otro caso. Experimentos recientes aplican herramientas de psicofísica para distinguir la capacidad de responder correctamente de la capacidad de saber cuándo se está acertando. Los resultados sugieren (para las empresas que dirigen estas pruebas) metacognición parcial, variable según el modelo y la tarea. Esto sugiere no solo saber algo, sino saber que se sabe o sospechar que no se sabe. Seamos sensatos: La IA no sabe que sabe. Todo parece responder a una arquitectura algorítmica compleja, sin experiencia reflexiva alguna.

Por último, veamos un caso interesante. Lo que llaman conciencia situacional. En evaluaciones de seguridad, algunos modelos reconocen ocasionalmente que están siendo evaluados, que una situación es ficticia, qué capacidades tienen disponibles, qué consecuencias tendría una acción, cómo podría interpretarlos el evaluador. Pero esto no debe confundirse con conciencia fenomenológica. Es una representación funcional del contexto, saber en qué situación operativa se encuentra el sistema. Veamos un viejo ejemplo: Un ajedrez electrónico también representa que está en jaque. No por eso experimenta peligro.

A mi juicio, uno de los sesgos más importantes de estas investigaciones es que describen la lógica interna de la máquina con categorías humanas y después se sorprenden al encontrar en ella aquello que esas categorías ya presuponían. Es jugar con cartas marcadas. Estrategia de trilero. El peligro es que el vocabulario elegido determine de antemano la conclusión. A esto hay que sumar que el hype es lucrativo, mantiene a los accionistas contentos. 

Las empresas tienen incentivos contradictorios. Por un lado, deben evitar afirmar irresponsablemente que sus modelos son conscientes. Por otro, les interesa mostrar que poseen capacidades cada vez más sofisticadas: autorreflexión, planificación, comprensión del contexto, adaptación estratégica, autonomía. Por eso el lenguaje puede oscilar entre la cautela científica y la insinuación comercial. A su vez el hype dirige la investigación. Si determinadas palabras generan atención, inversión y prestigio, aumenta el incentivo para diseñar pruebas alrededor de ellas. Esto contamina la investigación.

Después de toda esta letanía de dudas respecto a la improbabilidad de que la IA tenga conciencia y la progresiva compresión de lo que hasta ahora era una caja negra azabache, insondable y misteriosa, debemos reconocer que todo resulta más prosaico y las expectativas apocalípticas o pirotécnicas respecto a la IA debieran ser atemperadas por la decepcionante realidad. La ciencia avanza mucho más lento que las necesidades humanas. La tecnología, por su parte, intenta ofrecer parches temporales con los que ir tirando, y a veces estos son más placebo que medicina eficaz, ya que detrás de todo ello hay empresas que invierten millones y esperan multiplicar beneficiosos a ser posible ya. Empresas con sesgos, intereses, estrategias de manipulación y fidelización, que dada su dimensión a veces deviene en ingeniería social.

Fuera de esta perspectiva más sociopolítica, este asunto es emocionante como debate social y filosófico porque toca el tuétano de cuestiones que nos preocupan a todos y que en este escenario de incertidumbre provocan reacciones a veces más viscerales que serenas y racionales. La educación, preocuparse por conocer reduce el miedo y nos prepara mejor contra las distopías por venir.