Existe un umbral muy preciso a partir del cual la inteligencia artificial deja de ser únicamente un sistema que aconseja cómo actuar para convertirse en una inteligencia distribuida en la materia.

Hasta aquí, todavía podíamos imaginar la IA como un cerebro instalado en un centro de datos que analiza flujos, propone escenarios y acelera una decisión humana.

Pero cuando esa inteligencia dirige máquinas capaces de percibir, desplazarse, cooperar y actuar en el mundo físico, empieza una transformación mucho más profunda.

El algoritmo sale de la pantalla. Toma cuerpo: motor, cámara, rotor, vehículo, robot terrestre, sistema marítimo.

La inteligencia se vuelve cinética.

Esta encarnación modifica de lleno la cuestión de la autonomía.

Un error en un sistema de conversación produce una frase falsa. Un error en una máquina móvil puede producir un desplazamiento, una colisión, una destrucción.

El software adquiere una inercia material.

El código se convierte en movimiento.

El cambio ya no afecta solo a la información: los resultados del cálculo gobiernan directamente movimientos en la materia.

Siempre he considerado esa relación entre materia e información uno de los rasgos profundos de nuestro tiempo. Una base de datos parece abstracta, pero determina decisiones reales. Una arquitectura digital parece invisible, pero gobierna flujos económicos.

Con la robótica, esa relación se hace evidente de inmediato.

La información se convierte en gesto. El modelo reconoce un obstáculo, modifica una trayectoria, frena, acelera.

Actúa.

Y desde el momento en que actúa, toda la cuestión de la responsabilidad adquiere otra dimensión.

Pero la verdadera ruptura no reside en la existencia de una sola máquina autónoma. Una máquina aislada sigue siendo relativamente fácil de concebir. Podemos preguntar quién la controla, qué misión se le ha encomendado, qué límites se le han impuesto.

La transformación comienza cuando varias máquinas cooperan.

Diez drones.

Cien.

Mil.

Varias decenas de miles.

Cada uno percibe lo que ocurre en su entorno inmediato, intercambia cierta información con los demás y adapta su comportamiento al estado del grupo.

Entramos entonces en la lógica del enjambre.

La palabra es acertada porque viene del mundo de los seres vivos.

Una hormiga aislada posee capacidades limitadas. Una colonia, sin embargo, desarrolla comportamientos complejos sin que exista una hormiga central que dirija cada movimiento.

Las aves pueden cambiar colectivamente de dirección sin que un jefe dicte por separado la trayectoria de cada una.

El comportamiento global surge de reglas locales.

Lo que aquí me interesa es comprobar, sin atribuir al enjambre una vida interior, que puede haber una coordinación eficaz sin un mando central que disponga cada movimiento en detalle. Ya eso basta para trastocar nuestra concepción de la responsabilidad.

Esto es lo que la ingeniería algorítmica intenta reproducir. Y es precisamente lo que trastoca la noción clásica de mando.

En un ejército tradicional, la jerarquía desciende del mando a las unidades. Cada nivel transmite órdenes y recibe información.

El enjambre introduce otra arquitectura: parte de la coordinación puede surgir en sentido horizontal.

Las máquinas se reparten las zonas, evitan colisiones y redistribuyen algunas tareas. El mando se ocupa más de definir reglas y fines que de dirigir cada detalle.

La transformación es profunda.

La persona ya no tiene que decirle a cada máquina: ve aquí y luego allí.

Puede decirle al sistema: explora esta zona, mantén esta formación, vigila esta frontera, optimiza tal misión dentro de tales límites.

La orden se vuelve más abstracta.

Y cuanto más abstracta es la orden, mayor importancia política adquiere el diseño del sistema. Quien define las reglas locales define la conducta que emerge de ellas.

El poder puede desplazarse del momento de la acción al de la programación.

El programador se convierte indirectamente en arquitecto de una conducta colectiva futura.

Eso, por supuesto, no significa que decida cada acción. Pero define el espacio de las acciones posibles.

Una idea recorre todo este libro: la arquitectura organiza las posibilidades.

Una carretera no decide adónde va cada vehículo, pero facilita unos trayectos y dificulta otros. Un protocolo informático no elige el contenido de los mensajes, pero define cómo circulan.

Del mismo modo, las reglas de un enjambre delimitan su campo de acción.

Por eso, al establecer cómo se gobiernan los sistemas autónomos, habrá que remontarse a etapas mucho más tempranas de la cadena técnica.

El control no puede empezar cuando la máquina ya está sobre el terreno.

Debe incorporarse al diseño.

¿Qué acciones están prohibidas? ¿Qué zonas se excluyen?

¿Qué grado de incertidumbre obliga a detenerse?

¿Cómo actuar si se pierden las comunicaciones? ¿Qué hacer si dos objetivos entran en conflicto?

Todas esas preguntas forman parte del código.

La ética se incorpora así, literalmente, a la arquitectura funcional.

Ya no puede quedarse en una declaración ajena al sistema.

Coincide exactamente con lo que escribía en el capítulo anterior: de-escalation by design.

Pero en los enjambres esa necesidad cobra aún más fuerza, porque la supervisión individual se vuelve imposible.

Una persona quizá pueda controlar un dron.

No puede pilotar diez mil unidades a la vez.

A partir de cierta escala tiene que delegar. Y esa delegación cambia el sentido mismo de la expresión human in the loop.

¿Dónde queda el ser humano en el circuito cuando deja de controlar cada acción y pasa a definir una misión global?

¿Puede comprender lo que hace el sistema, modificar la misión, detener algunas unidades?

¿Puede impedir una acción concreta? ¿De cuánto tiempo dispone para ello?

Sin esas precisiones, la noción de control humano queda casi vacía. Tampoco en una empresa cabe declarar responsable a un directivo que carece de acceso tanto a los datos como a las decisiones operativas.

La responsabilidad formal no basta. Hace falta una capacidad efectiva de intervención.

Esta distinción entre responsabilidad jurídica y capacidad operativa será central en los sistemas autónomos. Pero hay que mirar aún más lejos.

El enjambre posee una propiedad de la que carecen las arquitecturas centralizadas: la resiliencia por dispersión. Si se destruye una unidad, las demás pueden seguir adelante. Si se pierde la comunicación con el centro, ciertas funciones pueden mantenerse a escala local.

Es una cualidad extraordinaria en un entorno militar en el que las redes pueden sufrir interferencias o ataques. El enjambre puede funcionar, pues, como una suerte de red física distribuida. Es la lógica misma de Internet trasladada a la materia.

Una red resiliente no depende de un único camino. Los paquetes encuentran rutas alternativas. En un enjambre, los agentes pueden redistribuirse cuando algunos desaparecen.

La semejanza me llama la atención. Llevamos décadas construyendo arquitecturas digitales distribuidas. Ahora estamos dándoles un cuerpo físico.

Pero, como en toda red distribuida, esa resiliencia tiene un reverso: el control central se hace más difícil.

El mecanismo que la protege frente a una avería también hace más difícil detenerla.

Ahí está la paradoja.

Queremos sistemas capaces de seguir funcionando cuando se interrumpen las comunicaciones.

Pero queremos, además, poder detenerlos.

Las dos exigencias pueden entrar en tensión.

Cuanta más autonomía local tiene un sistema, menos depende del centro. Y cuanto menos depende de él, más difícil le resulta al mando central retomar el control de inmediato.

Es una cuestión crítica de ingeniería:

¿Cómo diseñar una autonomía reducida que permita al sistema sobrevivir sin volverse incontrolable?

Probablemente habrá que definir modos de actuación de respaldo.

Si se pierde la comunicación, se permiten ciertas acciones y se prohíben otras. Una máquina puede regresar, quedar en espera o continuar una misión limitada.

Esta lógica ya existe en muchos sistemas.

Pero a medida que aumenta la inteligencia a bordo, las posibilidades se vuelven más complejas. La máquina puede interpretar una mayor variedad de situaciones.

Esa flexibilidad tiene gran valor táctico, pero amplía el margen de incertidumbre.

Volvemos así a una regla fundamental: la autonomía debe ser proporcional al riesgo y a la reversibilidad.

Un enjambre encargado de cartografiar una zona puede recibir mucha más autonomía que un sistema con capacidad letal.

La robótica militar jamás debe tratarse como un solo bloque.

Reconocimiento, logística, desminado, evacuación, guerra electrónica, interferencias, transporte, ataque: los niveles de riesgo son radicalmente distintos.

En el debate público se comete a menudo el error de reducir toda la robótica a la imagen del arma autónoma que mata.

Es, por supuesto, una cuestión central, pero oculta multitud de usos que también transformarán la guerra.

La logística, por ejemplo.

Un ejército depende del combustible, del agua, de las municiones y de los repuestos. Vehículos autónomos podrían trasladar esos recursos por entornos peligrosos. Los robots podrían evacuar a los heridos o transportar cargas.

El efecto estratégico puede ser inmenso sin que la máquina decida jamás disparar.

Siempre hay que distinguir capacidad ofensiva y transformación sistémica.

Una innovación logística puede cambiar el desenlace de un conflicto tanto como un arma nueva. La historia militar lo demuestra una y otra vez.

Los ejércitos son más que sistemas de destrucción.

Son sistemas gigantescos de flujos.

Allí volvemos a encontrarnos con el banco de datos y con la red.

Quien sabe dónde están sus recursos, en qué estado se encuentran y qué ruta está abierta dispone de una ventaja considerable.

La IA y la robótica pueden automatizar parte de esa circulación.

Así surge un ejército más distribuido y más rápido, pero también más dependiente de los sistemas digitales.

Cada ventaja crea su propia vulnerabilidad.

Cuanto más se automatiza la logística, más eficaz puede resultar un ataque informático o electrónico.

Por eso el campo de batalla algorítmico no será una guerra de robots contra robots en el sentido espectacular de la expresión.

Será un entorno en el que cada capa —sensores, logística, comunicaciones, selección de blancos, navegación— dependerá más de los algoritmos.

La guerra se convierte en un sistema de sistemas.

El robot visible es solo la punta mecánica de una arquitectura invisible.

Detrás hay satélites, redes, modelos, bancos de datos, operadores, proveedores de servicios en la nube, cadenas industriales.

Destruir el robot puede resultar mucho menos eficaz que perturbar la infraestructura que lo alimenta.

El verdadero objetivo puede ser el dato.

Es una transformación profunda del campo de batalla.

La materia sigue siendo, por supuesto, decisiva. Pero la capacidad de coordinarla quizá cobre todavía más importancia.

Un ejército dotado de máquinas muy sofisticadas pero incapaces de intercambiar datos puede ser menos eficaz que otro provisto de equipos más sencillos y perfectamente coordinados.

La ventaja viene de la red.

Enlaza directamente con lo que aprendí con Groupe Serveur y Artprice: el valor nunca reside solo en el objeto, sino también en la relación.

Un dato aislado tiene su utilidad. Millones de datos relacionados según una arquitectura coherente producen una inteligencia.

Del mismo modo, un dron aislado tiene ciertas capacidades, pero un enjambre coordinado produce un comportamiento que supera al de cada unidad.

El grafo se convierte en potencia.

Esta idea me parece tan central que casi podríamos definir el campo de batalla algorítmico como un grafo dinámico de sensores y agentes.

Cada nodo ve una parte de la realidad.

Ninguno posee el todo.

La calidad del sistema depende de cómo se integran esas percepciones locales.

El problema es epistemológico:

¿Cómo construir una representación global a partir de puntos de vista incompletos?

Es el mismo problema al que se enfrentan una sociedad, una inteligencia artificial, un historiador.

Y la fusión misma puede dar origen a errores.

Si diez sensores observan el mismo fenómeno, ¿tenemos diez pruebas independientes o diez mediciones procedentes de una misma fuente?

La redundancia aparente puede infundir una falsa confianza.

Por eso una red de agentes debe conservar la genealogía de la información:

¿quién vio qué, cuándo, con qué sensor y con qué grado de confianza?

Esta exigencia de conocer la procedencia enlaza con una antigua obsesión del mercado del arte: el valor de una información depende también de la cadena que permite situarla.

Pero aquí lo que está en juego es inmediato.

La fusión automática puede atenuar las discrepancias entre sensores y ocultar precisamente la incertidumbre que debería permanecer visible.

La inteligencia no siempre debe allanar las diferencias. A veces debe preservar el desacuerdo.

Si tres drones ven un vehículo y dos no lo ven, esa divergencia puede tener una explicación: el ángulo de visión, las interferencias, el camuflaje, una avería.

Una fusión que se limite a indicar «probabilidad del 72 %» puede ocultar la información útil.

Por eso los modelos deberían ser capaces de preservar la estructura de la duda.

La discrepancia entre sensores debe seguir siendo visible.

Volvemos una y otra vez a este punto: la incertidumbre es un dato.

No hay que suprimirla para hacer más cómoda una interfaz.

Es casi una crítica general de nuestra época. Queremos respuestas nítidas, inmediatas, seguras.

Pero la realidad suele ser fragmentaria.

Una buena inteligencia debe mostrar esa fragmentación cuando es significativa.

El arte opera ese desplazamiento cuando se resiste a reducir la realidad a una representación única.

La Demeure du Chaos funciona como un sistema artístico de múltiples sensores. Miles de signos, acontecimientos y retratos producen perspectivas a veces contradictorias.

No pretende fundirlas en un único relato sin asperezas.

Conserva el choque.

Las arquitecturas cognitivas militares deberían a veces hacer lo mismo: preservar el choque entre interpretaciones.

El propio enjambre puede convertirse en una manera de producir esa pluralidad.

Cada agente ve desde un punto de vista distinto.

La diversidad espacial se convierte en diversidad cognitiva.

Pero esa pluralidad solo tiene valor si el sistema sabe aprovecharla.

De lo contrario, el grupo puede desarrollar un comportamiento gregario.

Es un peligro fascinante.

Los enjambres biológicos son poderosos porque siguen reglas comunes. Sin embargo, esas mismas reglas también pueden dar lugar a conductas colectivas equivocadas.

Un grupo puede converger en una solución errónea si los agentes imitan en exceso a sus vecinos.

Es el problema de la cascada informativa.

Existe en los mercados financieros, en las redes sociales y en las sociedades humanas.

También existirá en los enjambres artificiales.

Si cada dron modifica su decisión en función de los demás, un error local puede convertirse en un error colectivo.

La red amplifica entonces la equivocación.

De ahí la necesidad de que los agentes conserven cierta independencia entre sí.

Una vez más, diversidad y redundancia.

Una arquitectura demasiado coherente puede volverse frágil.

A veces hace falta introducir cierta disidencia algorítmica.

Algunos agentes podrían diseñarse para verificar en vez de seguir al resto. Algunos modelos, para emplear otros métodos de percepción. Una parte del sistema, para poner a prueba la hipótesis dominante.

Volvemos al procedimiento contradictorio.

Planteo la hipótesis de que este pluralismo artificial podría cobrar importancia en las arquitecturas autónomas.

La seguridad no procederá únicamente de unas reglas más estrictas. Quizá también nazca de la creación de agentes capaces de cuestionar al grupo.

La propia naturaleza recurre a menudo a esa diversidad.

Una población genéticamente variada resiste mejor algunas amenazas. Una organización con diversidad intelectual detecta más errores.

Por paradójico que parezca, el futuro de la robótica podría requerir una forma de pluralismo artificial.

Es una idea profundamente política.

A menudo hemos imaginado la máquina como símbolo de una conformidad perfecta.

Pero los sistemas más robustos podrían ser aquellos en los que se hayan incorporado deliberadamente varias lógicas.

Es casi lo opuesto a la fantasía totalitaria de la máquina perfectamente obediente.

La resiliencia exige cierta capacidad de discrepar.

Evidentemente, esa divergencia debe estar controlada.

No se pretende que cada agente pueda inventar libremente su misión.

Pero sí puede interesar que formule una hipótesis alternativa.

De nuevo hay que distinguir la autonomía de análisis de la autonomía de acción.

Es una de las distinciones fundamentales del futuro.

Podemos conceder a un sistema una enorme autonomía cognitiva sin otorgarle una autonomía letal equivalente.

Puede explorar mil escenarios, detectar anomalías y proponer soluciones y, al mismo tiempo, quedar sujeto a límites estrictos para determinadas acciones.

Tendemos a imaginar la autonomía como un único regulador que se desliza de cero a cien.

En realidad, tiene múltiples dimensiones:

percepción, interpretación, navegación, coordinación, planificación, uso de la fuerza.

Cada dimensión puede ajustarse por separado.

Esta matriz de autonomía permitirá una regulación mucho más precisa.

No basta con decir que un sistema es autónomo.

Hay que saber en qué y de qué manera.

Ese grado de precisión será indispensable para el derecho internacional.

Resultará imposible negociar sobre sistemas de armas autónomos si los Estados emplean la misma palabra para referirse a realidades radicalmente distintas.

Una norma eficaz debe referirse a una función concreta.

Por ejemplo, prohibir o regular estrictamente ciertas formas de seleccionar blancos y atacarlos sin un control humano significativo.

Pero habrá que definir también qué entendemos por control humano significativo.

¿Significativo según qué criterio?

¿El tiempo disponible?

¿La comprensión de la situación?

¿La posibilidad de interrumpir la acción?

Nos encontramos con las mismas preguntas.

El derecho deberá adquirir un carácter casi técnico.

Al jurista ya no le basta con manejar conceptos generales. Debe comprender la arquitectura del sistema que regula.

A mí me parece de lo más natural.

El derecho jamás ha estado verdaderamente separado de la técnica. Las grandes transformaciones industriales siempre han dado origen a nuevas categorías jurídicas: el ferrocarril, la fotografía, la radio, Internet.

Lo mismo harán la IA y la robótica en el World Model.

La dificultad es la velocidad.

El ciclo de desarrollo es mucho más rápido que el de la ley. Una capacidad puede aparecer, desplegarse y modificarse antes de que llegue a negociarse un tratado internacional.

Surge así el riesgo de que las instituciones vayan siempre por detrás.

Quizá tengamos que inventar mecanismos más adaptables: principios estables y protocolos técnicos capaces de evolucionar.

De nuevo, la permanencia mutante.

Vuelvo a encontrar este concepto en todas partes porque describe con exactitud una necesidad de nuestro tiempo:

un núcleo de reglas firmes y la capacidad de adaptar los procedimientos.

En el ámbito de los sistemas autónomos, ese núcleo podría estar formado por la responsabilidad humana, la distinción, la proporcionalidad y el control sobre determinadas decisiones críticas.

Las modalidades técnicas evolucionarán.

Así podríamos evitar redactar una ley ligada a una tecnología concreta que pronto quedaría obsoleta.

Hay que regular funciones y riesgos, no nombres de productos.

Esta distinción es capital.

También vale para la IA civil.

El sistema político debe aprender a pensar en categorías funcionales.

Pero el ámbito militar añade una dificultad más: el adversario.

Toda arquitectura de seguridad tiene que funcionar en un entorno hostil.

Un coche autónomo de uso civil puede dar por supuesto que, en general, los demás vehículos respetan ciertas reglas.

Un dron militar debe partir de que alguien procura activamente engañarlo, interferir en sus señales o desviar su rumbo.

La IA militar opera en condiciones de adversidad permanente: algunas de las señales que recibe pueden haberse fabricado deliberadamente para engañarla.

Cada sensor puede sufrir un ataque.

Cada enlace puede quedar comprometido.

Eso exige una epistemología de la sospecha.

Pero la sospecha debe estar bajo control. De lo contrario, el sistema se vuelve paranoico.

La paranoia es una inteligencia que encuentra coherencia en todas partes.

Todo signo se vuelve intencional.

Un sistema militar podría caer precisamente en esa trampa algorítmica.

Si toda señal insólita se interpreta como un ataque del adversario, la automatización acelera la escalada.

Hay que enseñar a los modelos, pues, a distinguir entre una manipulación del adversario y una simple anomalía.

Es extraordinariamente difícil.

Un pájaro puede ser un pájaro.

Una interferencia puede ser una avería.

Un desplazamiento poco habitual puede obedecer a motivos logísticos.

La realidad produce ruido de forma natural.

El adversario se esconde en ese ruido.

La tarea consiste en detectar la intención sin inventarla.

Probablemente sea uno de los problemas cognitivos más difíciles que existen.

Ni siquiera el ser humano logra siempre resolverlo.

La IA puede ayudar comparando millones de situaciones, pero debe conservar esa capacidad de dudar.

Aquí es donde la doctrina del Blind Spot, del punto ciego, cobra toda su dimensión estratégica.

Habría que entrenar a los sistemas para que busquen activamente explicaciones no hostiles a determinadas señales.

No por ingenuidad.

Para reducir el riesgo de error.

Casi cabe imaginar una arquitectura en la que, cada vez que se detecta una amenaza, se pone en marcha automáticamente un segundo proceso: ¿Qué otras causas podrían producir la misma señal?

Este sencillo mecanismo podría convertirse en una importante innovación en materia de seguridad.

Gracias a la potencia de cálculo, no tendría por qué ralentizar mucho el sistema.

De nuevo, la inversión de la que hablaba: la velocidad de cálculo puede servir para actuar con mayor prudencia.

La verdadera ventaja consistiría entonces en comprender más en el mismo tiempo, por encima de la capacidad de disparar antes.

Eso cambia la concepción misma de la superioridad.

Un ejército que analiza mejor puede evitar acciones inútiles, reducir sus errores y preservar sus recursos.

La inteligencia permite economizar violencia.

Es una idea importante.

Hablamos a menudo de la tecnología militar como multiplicador de fuerza.

También puede multiplicar la capacidad de contención si identifica mejor y reduce la incertidumbre.

Pero eso depende en gran medida de la doctrina.

Una misma capacidad de reconocimiento sirve para evitar un blanco civil o para optimizar un ataque.

La tecnología no dicta por sí sola su moral. Las decisiones de quienes la diseñan, la despliegan y la gobiernan orientan sus arquitecturas, sus usos y sus efectos.

Eso significa que la calidad política de las potencias tecnológicas adquirirá aún más importancia.

Cuanto mayores sean las capacidades de los sistemas, más consecuencias tendrán los valores de quienes los controlan.

Por eso la pugna por el poder no puede analizarse solo en teraflops o en número de drones.

Hay que examinar las doctrinas, las instituciones, las reglas.

Dos Estados dotados de la misma tecnología pueden darle usos radicalmente distintos.

Así pues, el campo de batalla algorítmico será también un enfrentamiento de doctrinas.

Algunos ejércitos optarán por una mayor centralización. Otros repartirán la autonomía. Algunos darán preferencia a enjambres de muchas unidades de bajo coste. Otros, a plataformas más sofisticadas.

Esas opciones reflejarán diferencias industriales, geográficas y de cultura militar.

Probablemente no haya un modelo único.

La historia militar está llena de tecnologías anunciadas como revolucionarias que no han suprimido las antiguas formas de guerra.

El carro de combate no suprimió la infantería.

El avión no suprimió el combate en tierra.

El misil no suprimió la artillería.

Los drones y los robots probablemente tampoco harán desaparecer al ser humano del campo de batalla.

Modificarán las relaciones entre las distintas funciones.

La guerra es acumulativa.

Se añaden nuevas capas.

Así se crea un sistema cada vez más complejo.

Y cuanto más complejo es el sistema, más estratégico se vuelve el mantenimiento.

Es una dimensión que las visiones futuristas suelen olvidar.

Un enjambre de miles de drones significa baterías, motores, repuestos, software, frecuencias, actualizaciones.

Cada unidad puede ser barata, pero el ecosistema que la mantiene es inmenso.

La guerra de alta tecnología sigue siendo una guerra industrial.

Quizá sea una de las lecciones más contundentes de los conflictos contemporáneos:

el volumen sigue contando.

Las municiones.

Las piezas.

La capacidad de producción.

Diez unidades de una tecnología extraordinaria pueden resultar menos decisivas que cien mil unidades de una tecnología suficientemente buena.

Por eso la robótica remite de inmediato a la industria.

La nueva pugna por el poder será también una carrera por la capacidad de fabricar deprisa, en grandes cantidades y a un coste aceptable.

China dispone hoy de ventajas considerables en varios ámbitos de la producción industrial. Estados Unidos cuenta con ecosistemas tecnológicos y militares muy potentes.

A mi juicio, Europa debe volver a dotarse de una base industrial más amplia y sólida.

Pero sería simplista convertir ese diagnóstico en una clasificación definitiva.

La robótica sigue siendo un ámbito que evoluciona con enorme rapidez. Las cadenas pueden reorganizarse. Las tecnologías pueden abaratar los costes. Actores de menor tamaño pueden aportar innovaciones tácticas notables.

La guerra de Ucrania ha mostrado con particular claridad que la capacidad de adaptación rápida puede alterar una relación de fuerzas.

Los sistemas comerciales pueden modificarse, adaptarse sobre la marcha, reinventarse.

La guerra se convierte en un laboratorio brutal.

Los ciclos de innovación se acortan.

Una solución funciona unos meses y luego el adversario desarrolla un medio de interferencia, una defensa u otra táctica.

Hay que mutar.

Una vez más:

Solo los mutantes sobreviven.

La frase cobra aquí su sentido más literal.

Un sistema militar cuyo software, frecuencia, sensor o táctica no puedan modificarse rápidamente queda obsoleto antes incluso de que termine el conflicto.

Eso significa que el proceso tradicional de adquisición, que a veces dura varios años, empieza a ser un problema.

Las instituciones militares tendrán que aprender a incorporar ciclos de desarrollo mucho más rápidos.

Es una transformación organizativa de primer orden.

¿Cómo preservar la seguridad, la certificación y el control mientras se modifican los sistemas a gran velocidad?

Reaparece la tensión entre estabilidad y mutación.

Una actualización de software puede mejorar una capacidad e introducir un fallo nuevo. Cuanto más se aceleran los ciclos, más difícil resulta la validación.

Por eso habrá que automatizar una parte de las pruebas.

La IA pondrá a prueba a la IA.

Las simulaciones a gran escala podrán explorar millones de escenarios.

Pero la simulación nunca bastará.

La realidad siempre produce situaciones que el modelo no había previsto.

Habrá que mantener, pues, un vínculo permanente entre el terreno y el laboratorio.

Quizá ese ciclo de aprendizaje sea la verdadera arma decisiva:

sensor, lecciones de la experiencia, modificación, nuevo despliegue.

Quien cierra antes el ciclo adapta su sistema.

Volvemos al tiempo de decisión, aplicado esta vez a la evolución tecnológica misma.

La competencia se desarrolla en distintas escalas temporales:

segundos en el terreno, semanas en el software, años en la industria.

Una gran estrategia debe sincronizar esos tiempos.

Es muy difícil.

Una decisión táctica puede consumir en unos días equipos que la industria tarda meses en reemplazar.

La IA puede ayudar a modelizar esos flujos.

No elimina las limitaciones materiales.

Hay existencias o no las hay.

Por eso vuelvo siempre a la materia.

El campo de batalla algorítmico sigue siendo un campo de batalla material.

Cuentan el acero, el silicio, la química de las baterías, las tierras raras, los explosivos.

La inteligencia artificial no sustituye a la materia.

La organiza.

Es casi una definición, muy sencilla, de su función: aumentar el grado de organización del mundo físico.

Un enjambre no es potente por contener muchas máquinas.

Lo es por la organización dinámica de esas máquinas.

El valor procede de la coordinación.

Es lo que siempre he observado en los sistemas humanos.

Treinta personas que trabajan sin una arquitectura común pueden producir menos que diez perfectamente coordinadas.

La red no suma.

Multiplica.

Pero la coordinación también deja una firma detectable.

Cuanto más se comunican los agentes, más fácil resulta detectarlos o interferir en sus comunicaciones.

Surge una nueva tensión.

Un enjambre muy conectado puede ser muy eficaz y, a la vez, vulnerable a la guerra electrónica. Otro más autónomo se comunica menos, pero debe resolver más cuestiones en el ámbito local.

Es preciso, pues, equilibrar comunicación y autonomía.

Es un problema clásico de las redes.

En Groupe Serveur sabíamos que una arquitectura distribuida debía poder funcionar pese a la pérdida de algunos enlaces.

En la guerra, esa regla es vital.

Probablemente los sistemas tendrán que alternar de forma dinámica entre varios modos: coordinación intensa cuando la red esté disponible, autonomía local cuando se deteriore.

Esa adaptabilidad es una forma de inteligencia de la propia red.

El sistema debe saber qué ocurre en su entorno y también en su propia infraestructura.

¿Qué enlaces son fiables?

¿Qué nodos están comprometidos?

Es una forma de autodiagnóstico técnico.

La red debe vigilar su propio estado y conocer sus límites operativos.

Un dron debe saber si su sensor funciona mal. Un modelo, si sus datos son insuficientes. Un ejército, si su cadena logística es frágil.

La soberanía empieza por conocer el propio estado.

Es casi socrático: el «conócete a ti mismo» aplicado al sistema técnico.

Puede parecer filosófico.

Es algo muy concreto.

Un sensor mal calibrado que desconoce su mala calibración inspira una falsa confianza.

Un sistema que sabe que sus prestaciones han mermado puede ralentizar su actuación o pedir una confirmación.

Ahí está toda la diferencia.

La capacidad de autodiagnóstico será fundamental en los enjambres.

Las unidades podrán comunicar su estado y redistribuir funciones. Un agente con poca batería puede abandonar su posición y otro ocupar su lugar.

El colectivo se vuelve adaptable en el sentido funcional.

Construimos así sistemas que aprovechan ciertas propiedades observadas en los organismos: percepción, adaptación, cooperación, resiliencia.

No están vivos.

Pero se sirven de principios que tienen su origen en los seres vivos.

El enjambre es el ejemplo más evidente.

Es una forma de ingeniería biomimética.

Y enlaza profundamente con mi interés por los sistemas orgánicos.

Ya en 1991, Netnobility se basaba en esa idea de la red como organismo vivo.

Lo que vemos hoy es la encarnación mecánica de aquel principio.

La red ya no enlaza solo ordenadores.

Enlaza agentes físicos capaces de actuar.

Es una transformación gigantesca.

Sus efectos irán, por supuesto, mucho más allá del ámbito militar: agricultura, logística, industria, servicios de emergencia, exploración.

Pero la guerra suele ser la primera en revelar las consecuencias extremas.

Lleva las tecnologías al límite.

Allí aparecen los problemas de control, de velocidad, de error.

Por eso hay que pensarlos antes de que se generalice su uso civil.

Un enjambre de robots de logística en un almacén y otro de uso militar comparten ciertas arquitecturas de coordinación.

Las innovaciones circulan entre los ámbitos civil y militar.

La frontera de los usos duales se desdibuja aún más.

Una cámara, un procesador o un motor pueden tener usos enteramente civiles y convertirse en componentes de un sistema de defensa.

Esto complica enormemente las políticas de control tecnológico.

No cabe prohibir sin más la exportación de todo componente susceptible de tener un uso militar: casi toda la tecnología digital moderna es de doble uso.

Hay que identificar, pues, las capacidades verdaderamente críticas. Volvemos a la clasificación. La estrategia moderna se convierte en un arte de distinguir con precisión.

Un control demasiado amplio asfixia la economía. Uno demasiado limitado deja pasar las tecnologías estratégicas.

Ningún algoritmo resolverá por completo esa disyuntiva política. Puede ayudar a trazar el mapa de las cadenas. La decisión seguirá siendo normativa.

Siempre vuelvo así al límite de la optimización. Una política nunca consiste únicamente en buscar la máxima eficacia. Sopesa valores: libertad de comercio, seguridad nacional, innovación, alianzas.

Las cifras pueden arrojar luz. No eligen la finalidad.

La distinción cobrará importancia a medida que los gobiernos incorporen sistemas de IA. Debemos resistir la tentación de presentar decisiones entre opciones políticas como si fueran soluciones técnicas.

El modelo puede estimar que, en un escenario dado, una restricción reduce determinado riesgo a cambio de elevar determinado coste. Decidir si esa relación entre coste y beneficio es aceptable corresponde a la política.

El campo de batalla algorítmico no debe dar lugar a un gobierno algorítmico. Esa frontera debe seguir estando en manos de la política.

Pero la presión será fuerte. A medida que las máquinas mejoren su capacidad para analizar ciertos escenarios, los seres humanos pueden sentir la tentación de delegar en ellas, poco a poco, su facultad de juzgar.

El sesgo de automatización adquiere aquí una dimensión institucional. Nadie dice que la máquina tome la decisión. Sencillamente se acaba por no cuestionar lo que recomienda. El desplazamiento puede ser muy gradual.

El peligro no siempre adopta la forma de una revolución espectacular en la que la IA se hace con el poder.

Puede consistir en una acumulación de pequeñas delegaciones.

Cada decisión parece razonable.

Al final, el ser humano conserva jurídicamente la soberanía, pero ha perdido la capacidad práctica de ejercerla.

Es una forma de desposesión silenciosa.

Por eso hay que mantener capacidades humanas en paralelo.

En el ámbito militar, eso significa entrenamiento, ejercicios sin algunas de las ayudas, conocimiento de los procedimientos.

En la vida civil, significa educación, capacidad para investigar, calcular, escribir.

La soberanía cognitiva es una práctica, no una condición que se adquiere de una vez.

Una destreza que deja de ejercitarse se atrofia.

Es casi biológico.

El músculo que deja de usarse desaparece.

Una civilización puede perder ciertos músculos cognitivos.

Por eso prefiero pensar la IA como un exoesqueleto cognitivo antes que como un sustituto.

Un exoesqueleto potencia el cuerpo, pero, idealmente, debería permitirle conservar cierta autonomía.

Puede que esta metáfora sea más acertada que la del cerebro artificial.

Construimos extensiones.

Pero toda extensión modifica el comportamiento del organismo.

Quien dispone de GPS ya no mira la ciudad de la misma manera.

El soldado que dispone de una IA capaz de sintetizar información ya no mira de la misma manera la masa de señales.

La herramienta modifica a quien la utiliza.

Es la dimensión antropológica de la tecnología.

Y el campo de batalla algorítmico probablemente producirá un nuevo tipo de combatiente: más que operador directo de una máquina, supervisor de sistemas, intérprete de alertas, gestor de redes autónomas.

Eso cambiará la formación.

Harán falta militares que conozcan el código, los datos y la guerra electrónica tanto como la táctica clásica.

El soldado, el ingeniero y el analista se acercan entre sí. Las profesiones se funden. Me parece plenamente coherente con nuestra época. Las grandes rupturas borran ciertas fronteras entre disciplinas.

La guerra industrial había producido al soldado mecanizado. La guerra algorítmica podría producir al soldado-sistema.

Pero no hay que creer que el cuerpo desaparece. Siguen ahí la fatiga, el miedo, el terreno, el tiempo que hace. Es importante.

Las simulaciones digitales dan a veces la impresión de un mundo pulcro. La realidad militar sigue llena de barro y ruido, sigue siendo imprevisible. La robótica tendrá que vérselas con esa materia.

Una cámara funciona de manera distinta bajo la lluvia, entre el polvo o en medio del humo. Un motor se desgasta. Una batería pierde capacidad con el frío. El entorno es un adversario más.

Por eso la realidad conserva la última palabra.

Es una lección que he aprendido a lo largo de mi vida, en la industria y en la escultura. El material opone resistencia. El acero no siempre se comporta como en el dibujo. El hormigón tiene su peso, su tiempo de fraguado, sus defectos.

El cuerpo le impone límites a la idea. La IA descubrirá lo mismo cuando entre en el mundo físico.

La robótica es la prueba de realidad de la inteligencia artificial.

Un modelo puede ser brillante en un entorno virtual y fracasar ante una escalera mal iluminada. Hay una diferencia fundamental entre la cognición textual y la acción encarnada.

El mundo no se deja reducir por completo a datos discretos. Contiene fricción, azar y continuidad.

Quizá esa resistencia de la realidad nos proteja contra las fantasías de omnipotencia. Nos recuerda que la inteligencia nunca es independiente de su sustrato. Incluso cuando es artificial depende de sensores, de energía, de motores.

Casi percibo un eco de Spinoza: la potencia de pensar y la potencia de actuar siguen ligadas a cierta organización de la materia.

Por eso me fascina que, tras décadas de discursos sobre lo virtual, la IA nos devuelva, a fin de cuentas, a la materia. La revolución cognitiva se convierte en una revolución industrial. Centros de datos, robots, fábricas automatizadas. Este siglo no es menos material. Lo es aún más, pero su materia está gobernada por más información.

El campo de batalla algorítmico será, pues, un inmenso atanor en el que

se unirán materia, energía y cálculo.

Esta imagen alquímica no es un adorno.

El atanor transforma mediante un control preciso del calor y del tiempo.

Los sistemas autónomos transforman el campo de batalla mediante un control preciso de la información y del movimiento.

En ambos casos, la organización produce la mutación. Pero toda alquimia puede fracasar si quien la practica pierde el control del proceso. Ese es precisamente el riesgo de los enjambres.

El comportamiento emergente puede ser difícil de prever. Cuanto más numerosos sean los agentes y más ricas sus interacciones, más posibilidades habrá de que la dinámica del conjunto produzca estados inesperados.

Es un fenómeno conocido en los sistemas complejos. El todo no es simplemente la suma de las partes. De ahí nacen tanto su poder como su peligro.

Una regla local aparentemente razonable puede producir una conducta colectiva sorprendente. Por eso habrá que hacer pruebas a gran escala: simulaciones, entornos adversos, ensayos en condiciones límite.

Pero ninguna simulación lo abarcará todo. Habrá que concebir barreras de seguridad capaces de funcionar incluso ante lo inesperado.

Invariantes. Ciertas cosas que el sistema jamás debe hacer, sea cual sea la situación.

Ahí es donde el derecho puede convertirse en código.

No en el sentido ingenuo de que una norma jurídica compleja pueda convertirse sin más en una línea de programación, sino en el de que sí es posible incorporar a la arquitectura algunos límites fundamentales.

Zonas prohibidas. Categorías excluidas. Umbrales.

El problema es que la realidad siempre contiene ambigüedades. Una ambulancia puede ser secuestrada. Un edificio civil puede destinarse a fines militares. Ningún código sencillo resolverá todos los casos.

Habrá que combinar, pues, reglas estrictas y juicios que tengan en cuenta el contexto. Es exactamente lo que hacen los sistemas jurídicos humanos.

Algunas prohibiciones son absolutas.

Otras requieren una valoración.

Tal vez la robótica autónoma tenga que desarrollar una arquitectura comparable.

Aquí es donde la cuestión moral produce vértigo.

¿Podemos delegar en una máquina una valoración que encierra una dimensión humana irreductible?

¿Hasta dónde puede un sistema valorar la proporcionalidad, la intención o una rendición?

Son categorías que suelen depender del contexto.

Una persona alza un objeto: ¿es un arma?

Una persona corre hacia un puesto: ¿se dispone a atacar o busca refugio?

El propio ser humano se equivoca.

Pero eso no significa que la máquina pueda sustituirlo sin más.

La pregunta es qué clase de error aceptamos y qué responsabilidad queremos mantener.

A veces una civilización debe decidir que determinadas funciones no deben optimizarse hasta el extremo.

Es un límite voluntario.

Ya lo aceptamos en otros ámbitos.

No todo lo técnicamente posible está permitido por la ley.

El poder también se define por la capacidad de no ejercerlo en toda su extensión.

En eso consiste la civilización: en establecer prohibiciones en torno a nuestras capacidades.

El arma nuclear es el ejemplo extremo.

La disuasión descansa precisamente en un poder que se procura no utilizar.

Con los sistemas autónomos habrá que construir otras formas de contención.

Quizá algunas decisiones deban seguir siendo humanas porque la responsabilidad moral debe poder atribuirse a alguien, incluso cuando el ser humano no sea técnicamente mejor.

La superioridad de la máquina en una tarea determinada no basta para

decidir que le corresponde la autoridad.

La autoridad es una categoría política.

Podemos decidir que una función exige presencia humana porque compromete nuestra definición de nosotros mismos.

Es una cuestión de soberanía antropológica:

¿Qué queremos seguir siendo los únicos en poder decidir?

La cuestión va mucho más allá del ámbito militar.

Justicia, medicina, educación.

Cada sociedad tendrá que trazar sus fronteras.

Y esas fronteras podrán variar de una cultura a otra.

Tendremos entonces varias arquitecturas de la autonomía.

Algunas sociedades aceptarán delegar más. Otras reservarán más funciones a los seres humanos.

Podría surgir así una nueva diferencia entre civilizaciones.

La competencia, pues, no será solo tecnológica.

Será normativa.

¿Qué usos consideramos legítimos?

¿Qué riesgos aceptamos?

China, Estados Unidos y Europa pueden dar respuestas distintas.

Y esas diferencias acabarán convirtiéndose a su vez en instrumentos de influencia.

Un país podrá decir: nuestro sistema respeta tal norma, se puede auditar, mantiene tal control.

Otro dará preferencia al rendimiento y a la velocidad.

El mercado mundial de la robótica estratégica podría, por tanto, estructurarse en torno a doctrinas sobre la confianza.

Es una posibilidad interesante.

La norma se convierte en un producto.

Algunos Estados pueden preferir un sistema técnicamente menos espectacular si perciben que es más fácil de controlar.

Esto enlaza directamente con la concepción europea del poder normativo. Pero, una vez más, debe sostenerlo una industria.

Sin máquinas, la norma se queda en palabras.

Siempre volvemos a la integración de todas las capas, desde la infraestructura material hasta los modelos y los datos: el derecho, el modelo, el procesador, la batería, el motor. El poder es vertical. Y en la robótica esa verticalidad se aprecia con singular nitidez.

La dependencia de un componente minúsculo puede paralizar un sistema entero. Un sensor. Un imán. Un chip.

Eso convierte la cadena de suministro en un factor de enorme importancia estratégica.

El campo de batalla algorítmico empieza, por tanto, en la mina y en la fábrica.

Parece casi absurdo cuando se mira un dron como una sofisticada máquina voladora. Sin embargo, su capacidad depende de una batería, de metales y de componentes electrónicos. La geopolítica del robot es una geopolítica de los componentes.

Volvemos a encontrarnos con las tierras raras, el litio y el cobre. La nueva guerra cognitiva nos remite otra vez a la geología. Es una constante del mundo.

La abstracción tecnológica siempre descansa sobre materias extraídas en algún lugar. La inteligencia artificial tiene, por tanto, una geografía mineral.

Por eso reaparecen en el sistema las rutas de la seda, África, Asia Central y América Latina.

Los capítulos anteriores no son bloques separados. Convergen aquí. China, semiconductores, datos, energía, IA, robótica: todo se enlaza. Esa es precisamente la estructura del grafo geopolítico. Nada está aislado.

Una decisión sobre un mineral puede afectar a una fábrica de baterías, que a su vez afecta a los drones, y estos a una doctrina militar.

La causalidad se extiende a lo largo de una cadena.

La IA puede ayudarnos a recorrer esas cadenas.

Pero también puede darnos una falsa sensación de dominio.

Es un riesgo que quiero mantener siempre a la vista.

Cuanto mayor es nuestra capacidad de modelización, más podemos llegar a creer que el sistema entero se vuelve previsible.

Ahora bien, los sistemas complejos producen rupturas.

Un pequeño acontecimiento puede alterar la trayectoria.

Aquí volvemos a la lógica de la teoría científica del caos.

Importan las condiciones iniciales.

Un error minúsculo puede amplificarse.

Un enjambre es precisamente un sistema dinámico en el que pequeñas variaciones pueden modificar una conducta colectiva.

Por eso la teoría del caos es aquí algo más que una metáfora.

Se convierte casi en una disciplina de ingeniería.

Hay que estudiar la estabilidad, los atractores, las bifurcaciones.

¿En qué condiciones se mantiene bajo control el comportamiento?

¿Cuándo cambia de régimen?

Volvemos de lleno al núcleo conceptual de la Demeure du Chaos.

El caos nunca es ausencia de reglas.

Es sensibilidad, interacción, complejidad.

El sistema puede estar muy determinado a escala local y resultar difícil de prever a escala global.

Eso es lo que debemos comprender de los enjambres.

Cada agente puede seguir reglas sencillas.

Aun así, el comportamiento colectivo puede ser difícil de anticipar.

Es casi una totalidad algorítmica: miles de elementos relacionados producen una forma que no existe en ninguno de ellos por separado.

Pero en la guerra, esa emergencia debe quedar encauzada por la responsabilidad.

El artista puede aceptar lo imprevisto.

El Estado Mayor no puede aceptar cualquier imprevisto.

Habrá que diseñar, pues, espacios acotados de libertad.

Es una noción muy interesante:

Autonomía dentro de un perímetro de seguridad.

El sistema puede adaptarse mientras permanezca dentro de ciertos límites.

Probablemente así funcionarán las arquitecturas más maduras.

No perseguirán ni el control central absoluto ni la autonomía total.

Definirán ámbitos de actuación.

El agente puede improvisar la trayectoria, pero no la finalidad.

Puede redistribuir una tarea, pero no modificar determinadas reglas de enfrentamiento.

La separación entre medios y fines es fundamental.

Pero incluso esta fórmula tiene límites.

La elección de los medios puede adquirir una dimensión moral. Una trayectoria, un arma o la hora elegida pueden alterar los riesgos para la población civil.

Habrá que definir qué características de los medios han de seguir sometidas al juicio humano.

Una vez más, no hay una solución sencilla.

Distinguir en detalle se convierte en método.

Probablemente sea uno de los hilos más constantes de esta parte del libro:

Rechazar los eslóganes, porque el mundo técnico contiene más matices de los que cabe expresar con ellos.

«¿A favor o en contra de las armas autónomas?» es una pregunta insuficiente.

¿Qué grado de autonomía?

¿En qué función?

¿Bajo qué control?

¿Con qué posibilidad de dar marcha atrás?

Esa precisión permite construir una política seria.

Y esa política debe ser internacional, porque la dinámica de la carrera armamentística hace que las decisiones nacionales no basten.

Si un Estado se impone una contención absoluta mientras sus adversarios automatizan a gran escala, puede sentirse vulnerable.

Eso alimenta una espiral.

Por tanto, se necesitan normas compartidas al menos para ciertas funciones críticas.

Quizá no se pueda alcanzar de inmediato un gran tratado universal, pero sí encontrar puntos de acuerdo.

No delegar ciertas decisiones nucleares.

Mantener canales humanos de comunicación al alcanzar determinados umbrales.

Prohibir determinadas formas de selección de blancos enteramente autónoma.

Definir protocolos para el caso de que se pierda el control de un sistema.

Estos acuerdos podrían llegar a ser el equivalente de los primeros convenios de control de armamentos.

Parecerían modestos.

Pero podrían estabilizar el sistema.

Los detalles a veces salvan al mundo.

Una línea directa, un procedimiento de identificación, un código de conducta pueden parecer insignificantes ante las grandes potencias.

Pero la civilización descansa sobre esas infraestructuras invisibles.

El derecho internacional es una arquitectura de pequeños protocolos que impiden ciertas reacciones en cadena.

Con los enjambres y los sistemas autónomos necesitaremos una nueva capa de protocolos.

Y probablemente protocolos de máquina a máquina.

He aquí una pregunta interesante: ¿podrían los sistemas adversarios disponer de mecanismos normalizados para comunicar determinadas intenciones?

Por ejemplo, identificación, estado, avería.

Recuerda un poco a la aviación civil y a sus transpondedores.

Por supuesto, en la guerra el adversario puede mentir.

Pero ciertos protocolos pueden ser útiles en las zonas de contacto o para evitar colisiones involuntarias.

Quizá tengamos que elaborar un derecho que regule las interacciones entre sistemas autónomos.

Es una idea vertiginosa.

El derecho internacional fue concebido para sujetos humanos y Estados.

Tal vez deba definir la conducta de sistemas autónomos sin llegar a atribuirles personalidad jurídica.

Sería simplemente una extensión de las obligaciones de sus operadores: su sistema deberá poder identificarse en determinadas circunstancias, respetar tal señal o pasar a tal modo de funcionamiento en caso de alto el fuego.

Esto muestra hasta qué punto la arquitectura del software será objeto de la diplomacia. Los protocolos informáticos podrían negociarse como acuerdos de seguridad. Ingenieros y diplomáticos tendrán que trabajar juntos.

De nuevo, la fusión de disciplinas.

Probablemente sea un rasgo central del siglo XXI. Las fronteras profesionales heredadas ya no bastan.

El jurista debe entender el código. El ingeniero debe entender el derecho. El militar debe entender la IA. El filósofo debe entender la interfaz.

Es la forma de pensamiento caleidoscópico que siempre he defendido. Los problemas reales atraviesan las disciplinas.

La Demeure du Chaos le da forma material: arte, geopolítica, informática, materia, derecho. Es casi un laboratorio de esa interdisciplinariedad radical.

Lo que antes se calificaba de heterogéneo pasa a ser hoy una estructura del mundo. A mi juicio, la IA confirma hasta qué punto eran artificiales ciertas divisiones intelectuales.

Para entender un enjambre militar no basta la informática. Hacen falta biología, matemáticas, psicología, derecho, geopolítica.

Esa convergencia es lo que me apasiona. Y nos lleva a otra pregunta aún más profunda.

Si las máquinas llegan a cooperar entre sí, a aprender ciertas tácticas y a modificar su conducta a escala local, ¿qué parte de la inteligencia colectiva sigue diseñada explícitamente por el ser humano?

Podemos llegar a sistemas en los que la conducta eficaz se haya descubierto mediante el entrenamiento en vez de programarse directamente.

El diseñador fija objetivos y restricciones, y el sistema aprende una estrategia.

Esto ya ocurre en entornos virtuales.

Al trasladarlo al mundo físico, resulta mucho más apremiante la cuestión de hasta qué punto puede entenderse lo que hace el sistema.

Puede encontrar una solución que nadie había imaginado.

En eso consiste precisamente el interés del aprendizaje.

¿Pero qué sucede si la solución es eficaz desde el punto de vista estratégico y moralmente indeseable?

Es necesario entonces haber definido correctamente las restricciones.

Volvemos al problema del alineamiento, aplicado esta vez a una situación militar concreta.

El alineamiento deja de ser solo una gran pregunta abstracta sobre los valores de la humanidad.

La pregunta pasa a ser:

¿Cómo asegurarnos de que el sistema no busque optimizar una misión por medios prohibidos?

Es una cuestión sumamente difícil, porque simplificar los objetivos puede producir conductas imprevistas.

Encargar al sistema que maximice la cobertura de una zona puede llevarlo a correr riesgos indeseados.

Optimizar la velocidad puede sacrificar la discreción.

Todo objetivo conlleva externalidades.

El ser humano lo sabe desde siempre por su experiencia en las organizaciones.

Un indicador pasa a ser un objetivo y a veces deja de ser un buen indicador.

La IA puede llevar esta ley a escala industrial.

Si medimos mal lo que queremos, la máquina optimizará a la perfección lo que no corresponde.

Probablemente sea uno de los puntos ciegos más importantes.

La calidad del objetivo importa más que la potencia del modelo.

Un sistema muy potente con un objetivo mal definido puede precipitar el desastre.

Por eso la doctrina debe preceder a la optimización.

Hay que saber qué se quiere de verdad.

La frase parece trivial.

Y, sin embargo, cumplirla es extraordinariamente difícil.

Las organizaciones humanas suelen trabajar con objetivos aproximados, porque las personas compensan intuitivamente las imprecisiones.

Una persona comprende que «maximizar la velocidad» no significa atravesar un hospital.

Una máquina no tiene por qué situar así la instrucción en su contexto si nadie ha incorporado esa capacidad a su diseño.

En esto el mundo real resulta infinitamente más difícil que las simulaciones.

Los valores son implícitos.

Gran parte de nuestra conducta depende de convenciones que jamás formulamos.

Construir robots autónomos nos obliga a explicitar esas convenciones.

Es casi un experimento filosófico gigantesco.

Debemos traducir parte de nuestra moral tácita en una arquitectura operativa.

Y probablemente descubriremos que no siempre estamos de acuerdo sobre esa moral.

La IA no crea esas discrepancias.

Las pone de manifiesto.

Es otra de sus funciones de espejo.

Nos obliga a precisar lo que dábamos por evidente.

El propio derecho de la guerra contiene conceptos que requieren interpretación: distinción, proporcionalidad, necesidad.

Las personas con experiencia los aplican atendiendo al contexto.

Trasladarlos a un sistema autónomo obliga a plantear preguntas difíciles.

¿Puede formalizarse la proporcionalidad?

¿Hasta dónde?

¿Qué información hace falta?

El modelo puede ayudar.

Pero es posible que, en las situaciones más graves, el juicio final siga correspondiendo a los seres humanos durante mucho tiempo.

Y eso no constituye una deficiencia técnica.

Es una opción que puede adoptar una civilización. Podemos decidir que ciertas decisiones deben seguir siendo humanas precisamente porque no se dejan reducir a una función de optimización.

Es lo que llamo soberanía antropológica.

Ya no se trata solo de la soberanía de un Estado frente a otra potencia. Se trata de la soberanía del ser humano frente a sus propias creaciones.

¿Qué ámbito de decisión queremos reservarnos como expresión de nuestra responsabilidad?

La cuestión militar vuelve especialmente acuciante esta pregunta porque están en juego la vida y la muerte. Pero el mismo debate llegará a otros ámbitos.

Justicia. Medicina. Crédito. Educación.

Cada ámbito tendrá que trazar sus límites. Probablemente sea uno de los grandes debates filosóficos del siglo.

Y será mucho más concreto que las especulaciones acerca de la naturaleza ontológica de estos sistemas.

Antes de resolver qué son, debemos decidir qué les permitimos hacer.

Ahí está la realidad. La filosofía debe entrar en el procedimiento. Es exactamente mi manera de pensar: ninguna idea vale si no se encarna.

El siguiente paso consiste en cambiar de terreno sin cambiar de problema.

Las mismas cuestiones de delegación, trazabilidad, control y soberanía que aquí se plantean bajo las exigencias militares reaparecen cuando la inteligencia artificial entra en la Administración y en la toma de decisiones públicas.

La pregunta ya no es solo:

¿quién controla una máquina que actúa?

Pasa a ser:

¿Quién controla un sistema que clasifica, recomienda, concede un derecho, detecta un riesgo u orienta la acción del Estado?

Tras el campo de batalla algorítmico llega, pues, el Estado algorítmico.

¿Cómo ganar en eficacia sin convertir el poder de la información en vigilancia ni diluir la responsabilidad democrática?