Toda sociedad clasifica. Mucho antes de la inteligencia artificial, las instituciones ya asignaban categorías, reconocían estatutos, ponían notas y abrían expedientes. La escuela califica; el banco evalúa el riesgo; la aseguradora calcula una prima; la empresa valora una competencia; la administración comprueba si nos asiste un derecho. Sería erróneo presentar la puntuación como un invento de la IA. Lo que cambia hoy es la profundidad con que se nos puntúa, la frecuencia y, sobre todo, la facilidad con que una puntuación circula entre ámbitos antes separados. Hoy un sistema puede cruzar cientos de variables, estimar una probabilidad y detectar perfiles que nadie habría podido calcular a mano. Esa capacidad puede ser de enorme utilidad. Un banco puede evaluar mejor un riesgo. Una aseguradora puede fijar primas con mayor precisión. Una administración puede detectar un fraude.

Pero al afinarse la predicción surge una pregunta: ¿en qué momento se deja de juzgar a alguien por lo que hace y se empieza a juzgarlo por lo que un modelo cree que hará? Ese es el umbral. La puntuación deja de ser solo la memoria de un pasado. Se convierte en una anticipación del futuro. Y esa anticipación puede tener consecuencias antes incluso de que el hecho llegue a ocurrir. Alguien puede quedarse sin crédito porque se parece estadísticamente a personas que devolvieron una proporción menor de lo prestado. Puede verse sometido a más controles porque determinadas señales elevan una probabilidad. Una empresa puede darlo por candidato a marcharse antes de que haya manifestado la intención de hacerlo.

Pasamos de constatar los hechos a intervenir por adelantado.

Esta lógica requiere una prudencia extrema: ofrece una eficacia económica real y encierra un enorme peligro para el ser humano. La eficacia viene de la estadística. Si ciertas variables se correlacionan con una conducta, el modelo puede reducir la incertidumbre. El peligro surge cuando olvidamos que la probabilidad corresponde a una distribución y no constituye el destino de una persona. Que un grupo tenga un riesgo mayor no significa que ese individuo vaya a comportarse como lo hace en promedio el grupo.

Ahí se juega la diferencia entre población y sujeto. La estadística sabe mucho de los grupos. El derecho protege a individuos. La tensión viene de lejos, pero la IA le da una fuerza nueva. Cuanto más preciso se vuelve un modelo, más nos tienta tomar su predicción por una verdad personal. Una puntuación del 87 % casi parece una propiedad del individuo. Y, sin embargo, sigue siendo una estimación condicionada por ciertos datos, un modelo y un contexto. Por eso considero que el derecho a la imprevisibilidad debe ocupar un lugar central en la era algorítmica.

Tal derecho no significa, desde luego, que quede prohibido hacer cualquier previsión sobre la conducta humana. Sería absurdo. Toda economía se vale de previsiones. Significa que la predicción no debe convertirse en una identidad y menos aún en una condena. Cada persona debe conservar el derecho a sorprender al modelo. Casi podría definirse así la libertad.

Si todo comportamiento pasado sirve para predecir el futuro y cada predicción desencadena una consecuencia que reduce las opciones, podemos acabar encerrando al individuo en su propia trayectoria estadística. La puntuación contribuye a su propio cumplimiento. Quien es considerado de alto riesgo recibe menos oportunidades; al faltarle oportunidades, su trayectoria empeora. Y después el sistema concluye que tenía razón. Es un círculo sumamente peligroso. El modelo ya no se limita a predecir la realidad. Contribuye a fabricarla. Reaparece la reflexividad, esta vez aplicada directamente a la vida humana. El círculo se ve con especial claridad en el crédito. Quien queda excluido de la financiación tiene menos posibilidades de invertir, de formarse, de comprar una vivienda. La evaluación modifica su futuro económico. Eso no significa que haya que abolir el análisis de riesgos. No existe el crédito sin riesgo. Solo hay que reconocer el poder causal de la puntuación. Al decidir sobre un crédito se hace algo más que observar. La decisión puede modificar el futuro que pretende medir. De ahí la necesidad de que el sistema admita impugnaciones y correcciones. ¿Con qué datos se calculó la puntuación?

¿Son correctos?

¿Han quedado algunos obsoletos?

¿Hay elementos de contexto que el modelo no percibe? Sin un procedimiento de recurso, la estadística corre el riesgo de convertirse en destino administrativo. Volvemos al mismo pilar: no puede haber poder algorítmico sin posibilidad de recurso. Pero esa exigencia debe concretarse. Entregar a alguien una página llena de variables incomprensibles no ofrece una vía real de recurso. Esa persona debe poder conocer los principales factores que pesaron en la decisión, señalar un error, aportar información nueva y, en casos importantes, obtener una revisión humana. No es un lujo. Es una condición de justicia.

La misma lógica rige en los seguros. Un sistema puede calcular con enorme precisión el riesgo individual. Parece económicamente racional: cada cual paga una prima tan ajustada como sea posible al riesgo que representa. Pero si llevamos esa lógica hasta el final, aparece una contradicción. La razón de ser del seguro es precisamente compartir la incertidumbre. Si se predice a la perfección el riesgo individual, el seguro se parece cada vez más a una factura que nos presenta el destino. Quien está más expuesto paga muchísimo precisamente porque es quien más necesita protección. La optimización actuarial puede así entrar en conflicto con la solidaridad. Una prueba más de que el óptimo técnico no basta.

Una sociedad ha de decidir qué parte del riesgo quiere compartir. Salud, discapacidad, catástrofes. Es una decisión política y moral. La IA puede calcular mejor el riesgo, pero no decide qué solidaridad queremos conservar.

¿Queremos seguros perfectamente individualizados o aceptamos compartir colectivamente una parte del riesgo?

No hay una respuesta puramente matemática. Y la precisión creciente de la IA puede hacer más visible el conflicto. Durante mucho tiempo, ciertas formas de solidaridad existieron también porque no podíamos medir con precisión. La ignorancia obligaba a compartir el riesgo. Cuando disminuye la ignorancia, la solidaridad debe convertirse en una elección explícita. Es un umbral para la civilización.

El avance del conocimiento a veces nos priva del resguardo que ofrecía la incertidumbre. Debemos decidir si queremos reconstruirlo mediante el derecho. Es una idea de enorme importancia. Durante mucho tiempo, a la libertad le favoreció la imposibilidad técnica de saberlo todo. A la solidaridad también. Cuando la tecnología reduce esa imposibilidad, nuestras instituciones deben imponerse límites deliberadamente. De nuevo, la libertad nace de que el poder se limite a sí mismo.

El uso de datos genéticos en los seguros ya ofrece un ejemplo jurídico concreto. En Francia, para las coberturas de invalidez o fallecimiento, la ley prohíbe a las aseguradoras tener en cuenta los resultados de pruebas genéticas, incluso si se les comunican con el consentimiento de la persona. El principio es notable: un dato puede servir para predecir y, sin embargo, quedar fuera de la optimización del seguro porque la sociedad decide que no debe utilizarse para fijar la prima.

El mismo razonamiento vale para otras inferencias. Tal vez un modelo pueda deducir un problema de salud a partir de compras o desplazamientos. Que algo pueda inferirse no significa que deba permitirse su explotación. De ahí que la doctrina de las inferencias que mencioné en capítulos anteriores cobre aquí tanta importancia. La vida privada ya no abarca únicamente lo que el individuo ha revelado. Abarca también lo que la máquina puede reconstruir.

La capacidad de inferir es el nuevo poder.

Por eso el derecho debe proteger determinadas conclusiones con independencia de cómo se hayan obtenido. Parece complejo, pero es indispensable. De lo contrario, de poco sirve prohibir el acceso directo a un dato sensible si el modelo puede reconstruirlo estadísticamente. Entramos así en una sociedad donde una persona resulta transparente sin haber declarado nada. Esa transparencia algorítmica puede ser extraordinariamente invasiva. Quizá el propio individuo desconozca ciertas inclinaciones que el sistema cree detectar. Una empresa tal vez sepa que un empleado contempla marcharse antes de que él mismo haya formulado con claridad esa decisión.

¿Qué debe hacer con esa información?

¿Puede negarle un ascenso porque su probabilidad estimada de marcharse es alta?

Sería muy peligroso. El modelo podría provocar precisamente la marcha que predice. Otra vez, el círculo de la profecía que se cumple a sí misma. Hay que distinguir la predicción que permite anticipar una necesidad colectiva de la que se utiliza para sancionar individualmente a alguien. Una empresa puede prever que el 10 % de los trabajadores de un departamento podrían marcharse y, con esa información, preparar nuevas contrataciones. Algo muy distinto es identificar por su nombre a tres personas y tratarlas como si ya fueran desleales. El nivel de detalle de la predicción plantea una cuestión de dignidad. Un dato agregado puede ser legítimo allí donde el dato individual se vuelve invasivo. De ahí que la minimización no afecte solo a la cantidad de datos, sino también a su resolución.

¿A qué escala necesitamos realmente saber?

La precisión no es un valor absoluto. Una información más detallada puede servir para ciertos fines y ser invasiva cuando se emplea para otros. La resolución adecuada depende de la finalidad.

Para organizar el transporte de una ciudad hay que conocer los flujos. No es imprescindible saber exactamente adónde se dirige cada persona a cada instante. Para prever la rotación del personal se pueden estudiar tendencias sin elaborar un perfil de cada trabajador. Una sociedad algorítmica madura será aquella que sepa mantenerse deliberadamente en un nivel de resolución inferior cuando la precisión adicional no justifique la intromisión.

Eso exige rigor en el diseño. A los ingenieros les atrae, naturalmente, la precisión. El derecho debe preguntar: ¿útil para qué? Es el principio de proporcionalidad informativa. Y me lleva a un concepto que considero esencial: el derecho a mantener separadas las puntuaciones.

Una puntuación crediticia no debería convertirse automáticamente en puntuación de empleabilidad. Lo que se evalúa en un ámbito no debe contaminar todos los demás. Ya hemos conocido sistemas sociales en los que una categoría desencadenaba toda una cascada de consecuencias: la casta, el estatus, los antecedentes penales. Mediante la acumulación de puntuaciones, la IA podría reconstruir una especie de casta digital. Es un peligro real. Si alguien recibe una mala calificación en una plataforma y luego esa nota pasa a manos de una aseguradora, un arrendador, un empleador, puede quedar excluido poco a poco de varios ámbitos de la vida. La puntuación se convierte en una identidad social que lo abarca todo.

Eso es precisamente lo que hay que impedir. Toda evaluación debe seguir vinculada a su finalidad. Es una extensión del principio jurídico de limitación de la finalidad. Una puntuación responde a una pregunta concreta: «¿Cuál es el riesgo de impago de este crédito?». No mide el valor general de la persona. La distinción exige rigor. Con todo, será grande la tentación de reutilizar un dato por el mero hecho de que existe. Compartir una puntuación ya calculada apenas cuesta nada. Ahí es donde el derecho debe oponerse a la lógica de la comodidad. Que un dato esté disponible no confiere un derecho universal a utilizarlo. Ocurre lo mismo con la memoria. Una información puede ser verdadera sin que deba usarse en todas partes. El olvido y la separación entre ámbitos son condiciones de la libertad.

Esta idea tiene gran importancia. Solemos pensar en la privacidad como secreto. Pero la privacidad también tiene que ver con el contexto. Puedo comunicar algo a mi médico sin querer que lo utilice mi banquero. No es que me avergüence de esa información. Pertenece a una relación. Al conectar todas las bases de datos, la IA amenaza ese vínculo con el contexto. Un grafo total es técnicamente seductor. Socialmente puede ser destructivo. Por eso una civilización algorítmica debe saber levantar muros dentro del grafo.

Es casi el reverso de lo que he hecho toda mi vida con las bases de datos, donde relacionar elementos crea valor. Sí, relacionarlos crea valor. Y precisamente porque también genera poder, a veces hay que elegir no relacionarlos. No hay contradicción. La madurez consiste en saber dónde es legítima la relación. Una base de datos del Mercado del Arte debe relacionar al artista, la obra, la venta y la casa de subastas. No tiene ninguna razón para incorporar los datos médicos del coleccionista. La finalidad define el grafo. El peligro comienza cuando el grafo aspira a abarcar el mundo entero. Esa es la desmesura de los datos: creer que, puesto que todo se puede conectar, todo debe conectarse. Rechazo esa idea. El caos vivo necesita discontinuidades. La libertad también.

Una sociedad en la que cada conducta alimenta una puntuación general se vuelve profundamente conformista. ¿Por qué arriesgarse si un error les puede costar el crédito, el seguro, el empleo? La persona empieza a organizar su vida para obtener la mejor calificación del sistema. He ahí un efecto indirecto de enormes proporciones. La puntuación ya no se limita a medir la conducta. La disciplina. Foucault habría reconocido enseguida esa lógica. El panóptico hace que el recluso se controle a sí mismo porque sabe que pueden estar observándolo. La sociedad de la puntuación añade otra dimensión: cada cual sabe que cualquier huella puede modificar su nota. Nos convertimos en administradores de nuestra propia reputación algorítmica. Eso puede hacernos más prudentes, pero también menos espontáneos.

Una sociedad en la que todos procuran mantener en todo momento una puntuación favorable acaba por uniformar las conductas.

Es una amenaza para la creatividad y la disidencia. Innovar supone, a veces, hacer algo que parece extraño o arriesgado. Si toda conducta atípica rebaja la nota de fiabilidad, el sistema penaliza a los mutantes. Por eso el derecho a la imprevisibilidad es también un derecho a innovar. Solo los mutantes sobreviven, pero hace falta que el sistema les permita existir. Es una contradicción profunda de la economía algorítmica. Quiere detectar las anomalías porque pueden revelar un riesgo. Pero de la anomalía también puede nacer lo nuevo. Una misma señal puede indicar un fraude o una innovación.

¿Cómo distinguirlos?

El contexto. Una vez más. Un modelo puede detectar una conducta estadísticamente infrecuente. No debe clasificarla automáticamente como negativa.

Una anomalía plantea una pregunta. No dicta un veredicto.

Esa frase debería ser un principio. Vale para la seguridad, el trabajo y las finanzas. La sociedad algorítmica debe dejar abierta la posibilidad de que la excepción sea buena. Ese es precisamente el método de la Demeure du Chaos. Lo que parece una anomalía en el paisaje quizá sea una Obra de Arte Total. Quien se atiene exclusivamente a la norma visual deduce que algo funciona mal. No ve la estructura. Es una metáfora casi perfecta de la sociedad de la puntuación.

Un sistema puede medir la distancia respecto de la media. Eso no le da automáticamente la medida del valor de esa distancia. El artista, el empresario, el disidente suelen ser anomalías estadísticas. Una sociedad excesivamente optimizada en torno al promedio podría volverse incapaz de generar sus propias mutaciones. Eso nos devuelve al capítulo anterior sobre la exploración. Una economía debe conservar zonas donde no se penalice a la persona que se aparta del perfil esperado.

La escuela es un ámbito especialmente importante. Imaginen un sistema educativo que calcule desde la infancia la probabilidad de éxito en distintas profesiones. Puede ser útil para ofrecer apoyo personalizado. Pero si la puntuación fija de una vez por todas el rumbo que debe seguir el niño, el peligro es enorme. Un niño cambia. Aprende. Sus aptitudes pueden revelarse tarde. Una predicción temprana puede encerrarlo en una trayectoria. Es el riesgo de la profecía autocumplida en su forma más grave.

La IA debe servir para abrir oportunidades y evitar que se cierren prematuramente. Un modelo puede decir: este alumno parece tener dificultades con las matemáticas, probemos otro método. Muy bien. Lo que no debe decir es: este alumno no sirve para las ciencias. La diferencia es inmensa. En el primer caso, la puntuación sirve de diagnóstico provisional. En el segundo, se convierte en identidad. Ahí está, una vez más, el derecho a mutar.

Un buen sistema educativo debe poner fecha de caducidad a las predicciones. Una puntuación antigua tiene que perder peso. La idea es muy importante tanto en el plano técnico como en el filosófico: con el paso del tiempo debe disminuir la influencia del pasado. No todos los datos históricos deben conservar eternamente el mismo peso. Un error cometido a los dieciocho años no tiene por qué decidir la concesión de un préstamo a los cuarenta. Una antigua demora en el pago puede dejar de ser pertinente. El modelo debe reconocer el tiempo que hace posible la redención. Es casi el derecho convertido en matemáticas. Podemos imaginar normas que obliguen a dejar de utilizar ciertos datos pasado un plazo. En algunos contextos ya existen. Los sistemas digitales hacen aún más necesarias esas protecciones, porque conservan y recuperan las huellas con una persistencia y una capacidad de evocación incomparables con las de la memoria humana. El pasado digital no se borra solo. Hace falta, pues, crear un olvido artificial. Volvemos a esta magnífica idea: la civilización tendrá que programar el olvido.

Hemos pasado décadas mejorando el almacenamiento. Tendremos que aprender a borrar. No hay contradicción. Una memoria sin olvido es patológica. El propio cerebro humano olvida. Es una función esencial. Permite generalizar, perdonar, vivir. Una sociedad dotada de memoria total puede volverse punitiva. Cada error queda accesible para siempre. La IA puede recordar, establecer vínculos. A veces el derecho debe cortar el vínculo. Eso es el derecho a la redención algorítmica.

No basta con que la ley autorice a alguien a empezar de nuevo si los modelos siguen clasificándolo por su conducta anterior. La redención tiene que dejarse sentir en los datos. La cuestión es muy concreta. Los antecedentes penales pueden quedar cancelados legalmente y, sin embargo, ciertos datos privados pueden seguir circulando. El derecho debe coordinar esos distintos niveles. Si no lo hace, la rehabilitación se convierte en ficción. Es una batalla crucial para el futuro. La sociedad digital puede castigar con más dureza que el derecho porque tiene mejor memoria. Hay que defender, por tanto, la primacía de la norma jurídica sobre la memoria técnica. Si la ley dice que una deuda ha prescrito, el sistema no debe seguir tratándola indefinidamente como señal negativa. Eso exige auditorías y sanciones. Volvemos a la gobernanza.

La predicción del comportamiento plantea también un problema de seguridad pública. Los sistemas pueden detectar lugares o situaciones donde determinados delitos son estadísticamente más probables. Un cuerpo policial puede usar esa información para distribuir recursos. Los datos agregados también aquí pueden ser útiles. Pero si el modelo empieza a señalar a individuos concretos como futuros delincuentes, entramos en una lógica mucho más peligrosa.

La justicia penal se funda en hechos cometidos, no en la predicción de actos posibles.

Una democracia debe extremar la prudencia en esa frontera. Prevenir un delito inminente a partir de indicios concretos forma parte del trabajo ordinario de la policía. Algo distinto es calificar a una persona de peligrosa porque encaja en un perfil estadístico. Es Minority Report convertido en procedimiento administrativo. La ficción había dado exactamente con el problema: ¿se puede castigar lo que todavía no ha ocurrido? En derecho, la respuesta debe seguir siendo no.

Pero la tecnología puede generar zonas grises. Una puntuación de riesgo puede determinar la intensidad de la vigilancia. Eso eleva la probabilidad de detectar infracciones en ciertas poblaciones, lo cual acaba reforzando los datos del modelo. Es un ciclo de retroalimentación bien conocido. El sistema envía más patrullas allí donde los datos indican más delitos, allí encuentra más delitos y concluye que su predicción era acertada. Hay que romper ese círculo con métodos estadísticos y contrapesos institucionales.

De lo contrario, el modelo aprende tanto la geografía de la vigilancia como la del delito. Es un excelente ejemplo de causalidad oculta. El dato mide el fenómeno, pero también mide la forma en que la institución lo observa. Toda base administrativa lleva esa huella. Las estadísticas policiales reflejan en parte las prácticas de la policía. Las estadísticas médicas reflejan el acceso a la atención sanitaria. Por eso la IA no puede tomar la base de datos por una fotografía objetiva del mundo.

Debe comprender cómo se generaron esos datos. Es un concepto muy importante: data generating process. ¿De dónde proceden los datos? ¿A quién se midió y quién quedó sin medir? Es la cuestión de la procedencia trasladada a la estadística. Si se ignora, el modelo reproduce sesgos de medición. Todo aquel que utilice puntuaciones debería formarse en esta disciplina. Un dato nunca existe al margen de un sistema de recogida. Y ese sistema tiene su historia.

Otra vez, la historia en el corazón de la IA. Reaparece el historiador. Para entender una estadística hay que saber cómo se produjo. En Artprice lo veo con toda claridad. El resultado de una subasta no significa nada si se desconocen la casa de subastas, la moneda y las condiciones de la venta. Ocurre lo mismo con una puntuación social. Las cifras no tienen existencia autónoma. Tienen una procedencia. Esa cultura de la procedencia podría ser uno de los mejores antídotos contra la sociedad de la puntuación.

No mirar nunca un número sin preguntarse por su genealogía. Pero la sociedad de la puntuación no tiene por qué nacer de un único gran sistema estatal. Puede aparecer de forma difusa, por acumulación de valoraciones privadas. Plataformas, redes profesionales, servicios. Un conductor puntúa a su pasajero, el pasajero al conductor, el propietario al inquilino. Cada evaluación parece circunscrita a su ámbito y puede mejorar la confianza. Pero, si las puntuaciones se pueden trasladar o agregar, vamos construyendo poco a poco una reputación que lo abarca todo. Ese es el peligro.

Una mala experiencia aislada puede contaminar otros ámbitos. De ahí la necesidad de mantener fronteras. La reputación debe conservar su contexto. Ser un mal cliente de un restaurante una noche no dice nada sobre la solvencia bancaria. Parece obvio. Pero la IA puede encontrar correlaciones que hagan tentador reutilizar los datos. Hace falta, por tanto, un principio jurídico firme: las puntuaciones no son propiedades generales de la persona. Son instrumentos de alcance y función limitados. Puede parecer una cuestión técnica, pero es una protección de la condición humana. Un individuo es mucho más que la suma de sus puntuaciones. Ninguna base de datos debe poder pretender que agota su identidad.

Volvemos a la diferencia entre el mapa y el territorio. Aunque tuviéramos un millón de variables sobre alguien, no tendríamos a esa persona. Tendríamos una representación. La sociedad algorítmica debe conservar esa humildad. De lo contrario, el perfil se convierte en un doble digital soberano y el ser humano tiene que ajustarse a su propio modelo. Es una inversión aterradora.

Ya hoy hay quien descubre que una base contiene un dato erróneo y se ve obligado a demostrar que es la base la que se equivoca.

La administración cree antes al fichero que a la persona. La IA puede agravar el problema porque el perfil se vuelve más complejo. Por eso el derecho al espejo administrativo o comercial que mencioné se convierte en condición para poder recurrir. Cada persona debe poder conocer los datos relevantes empleados en decisiones de peso. Si no, combate contra un fantasma.

Poder corregir la información es una condición de dignidad. Pero hace falta también un derecho proporcionado a obtener una explicación. Vuelvo sobre esta idea porque aquí resulta crucial. No es posible explicar hasta el último detalle de una puntuación crediticia basada en cientos de variables. Pero sí se pueden indicar los factores principales y señalar los datos inexactos. El fin no es revelar todos los secretos comerciales. Es hacer posible una impugnación efectiva. Ese es el criterio. Que haya una vía real de recurso.

El derecho debe dar prioridad a la posibilidad efectiva de impugnar por encima de una transparencia total meramente teórica. Es una postura mucho más pragmática. Se pueden preservar determinados secretos y, al mismo tiempo, dar a un mediador o regulador un acceso más profundo. De nuevo, los niveles de control. El usuario recibe una explicación sencilla. El auditor puede examinar el sistema. El juez puede obtener más información si la necesita. Es una arquitectura de transparencia graduada. Me parece bastante más realista que «todo de código abierto» o «secreto absoluto». Volvemos al grado de detalle.

La sociedad de la puntuación plantea también la cuestión de a quién pertenecen los datos sobre la conducta. No dejamos de producir huellas. Hacer clic, caminar, pagar, dormir con un dispositivo. Todo ello puede convertirse en materia para calcular puntuaciones. ¿Quién tiene derecho a explotarlas? El consentimiento suele ser hoy una ficción. Nadie lee todas las condiciones. Con la IA, es difícil prever qué alcance llegará a tener un dato en el futuro.

Un dato hoy trivial puede dar pie mañana a una inferencia sensible. ¿Podemos consentir de verdad un uso que todavía nadie es capaz de imaginar? Es un problema profundo. El consentimiento no puede ser el único fundamento de la protección de datos. Hay que prohibir ciertos fines con independencia de que alguien haga clic. Ese es ya el espíritu de muchos ordenamientos jurídicos modernos. La IA refuerza esa necesidad. Determinadas inferencias deben quedar excluidas de ciertas decisiones aunque el usuario haya pulsado «aceptar» en un contrato interminable. La libertad contractual no basta cuando la asimetría es demasiado grande. Al derecho le corresponde precisamente fijar unas garantías mínimas. De nuevo, la civilización entendida como limitación voluntaria. Pero conviene evitar el paternalismo excesivo. Tal vez alguien quiera utilizar sus propios datos para obtener un servicio mejor. Ha de poder hacerlo. Por eso el sistema tiene que dar a las personas un control real sobre sus datos, más allá de imponer prohibiciones.

Por ejemplo, un usuario puede autorizar el uso de ciertos datos para conseguir un seguro más barato. Pero hay que evaluar el riesgo de selección adversa. Si solo comparten sus datos quienes presentan poco riesgo, los que se niegan se vuelven sospechosos. La decisión individual ejerce presión sobre todos. Es un problema clásico del consentimiento en los sistemas de puntuación. La propia negativa puede convertirse en señal. Por eso quizá haya que prohibir a todos el uso de determinados datos en ciertos contextos.

De otro modo, la libertad de unos reduce la de los demás. Otra externalidad. Es un ejemplo perfecto de una cuestión que el mercado no puede resolver por sí solo. Hace falta una regla común. Eso demuestra que el derecho a la imprevisibilidad va más allá del individuo. Puede exigir que, como sociedad, decidamos qué deben ignorar nuestras instituciones. Podemos decidir que una aseguradora no debe saber determinadas cosas, aunque algunos clientes estén dispuestos a contárselas. Es una especie de velo que elegimos tender. La idea invierte nuestra concepción habitual del progreso.

Muchas veces hemos entendido el progreso como una reducción de la ignorancia. Pero hay formas de ignorancia que hacen avanzar a una civilización. El secreto del voto es una de ellas. El Estado podría saber técnicamente por quién vota cada persona, pero la democracia organiza las cosas para que lo ignore. Es magnífico. Con el voto secreto, el poder decide no saber para proteger la libertad. La era algorítmica tendrá que inventar otras formas de ignorancia voluntaria. No conocer determinadas predisposiciones, no vincular ciertas puntuaciones. Quizá sea este uno de los conceptos políticos más importantes del futuro: la ignorancia constitucional. Definir lo que las instituciones no deben saber o no deben poder utilizar. La idea da la vuelta a la fantasía de reunir todos los datos.

Una democracia madura puede decir: podríamos saberlo, pero elegimos no saberlo.

Es una demostración de fuerza moral. Vuelve a lo que escribí sobre la vigilancia. La libertad del siglo XXI dependerá menos de la incapacidad técnica para ver que de la decisión jurídica de no mirar. Es un salto para la civilización. Exige una confianza enorme en las instituciones y auditorías para comprobar que respetan esa ignorancia. El principio debe plasmarse en la técnica. Si a pesar de la prohibición se recoge un dato «por si acaso», tal ignorancia no existe. Hay que minimizar la recogida desde el origen. Privacidad desde el diseño. Otra vez, la arquitectura.

El derecho a la imprevisibilidad podría traducirse, pues, en varios mecanismos concretos: restringir el uso de ciertos datos, mantener separadas las puntuaciones, fijar plazos de caducidad, garantizar el derecho de recurso, prohibir determinadas decisiones totalmente automatizadas y realizar auditorías para detectar discriminaciones.

Es mucho más que un lema filosófico. Es una arquitectura.

Así me gusta pensar: una idea ha de desembocar en un sistema. De otro modo, se queda en literatura. Pero la sociedad de la puntuación plantea también un problema cultural. A nosotros mismos nos gustan las notas. Las cinco estrellas, las clasificaciones, el número de seguidores. Una puntuación simplifica la complejidad. Permite decidir deprisa. La atracción que ejerce no procede solo de empresas o Estados. Nace de nuestro deseo de reducir la incertidumbre.

Es más fácil, al parecer, elegir un restaurante con un 4,8. Pero a fuerza de puntuarlo todo, convertimos la vida en una clasificación. Esa cuantificación puede cambiar nuestra relación con lo que hacemos. Una comida deja de ser únicamente una experiencia y se convierte en una nota. Un trayecto, un hotel, una persona. Todo se somete a comparación. Es una forma de introducir la lógica del mercado en nuestra percepción. La IA puede acentuarla al puntuar ámbitos que antes no tenían nota. Compatibilidad entre personas, potencial profesional, fiabilidad. Hay que resistir la tentación de reducirlo todo a una cifra. Vuelve Pitágoras, pero con una advertencia. Quizá todo pueda ser número bajo cierta forma de representación, pero no toda representación numérica es deseable. Hay ámbitos que pierden algo cuando se los obliga a caber en una puntuación. El arte es el ejemplo perfecto. Artprice puede medir los precios, los volúmenes, las trayectorias del mercado. Pero ninguna base de datos seria pretende que el precio agote el valor artístico. Sería absurdo. El mercado mide una dimensión. La historia del arte analiza otras. Ambas lecturas deben coexistir.

Del mismo modo, una puntuación del rendimiento laboral mide determinados resultados. No agota el valor de un trabajador. Una puntuación crediticia mide un riesgo. No agota la responsabilidad moral de una persona. Hay que precisar siempre qué mide una puntuación y qué deja sin medir.

Ese rigor semántico impide convertir una medida parcial en un juicio sobre la persona. Una puntuación se vuelve peligrosa cuando le cambiamos el nombre sin advertirlo. «Riesgo de impago» pasa a llamarse «fiabilidad». Luego «fiabilidad» pasa a significar «calidad de la persona». Es un deslizamiento frecuente. Hay que vigilar las palabras. Volvemos a la semiología. El nombre que damos a una medida influye en el uso que hacemos de ella.

Un modelo predictivo no debe presentarse como una medida del mérito. Sería un fraude conceptual. La IA puede producir cifras de extraordinaria precisión y ocultar la vaguedad de lo que se ha querido medir. He ahí un Blind Spot importante. Cuanto más precisa sea la cifra, mayor rigor debemos exigir al definir el concepto medido. Dar un valor de 0,873 a algo mal definido no es más inteligente que dar una aproximación. Esa es la diferencia entre precisión y acierto.

Un instrumento puede ser muy preciso y estar midiendo lo que no corresponde. Esa distinción debería enseñarse en todas partes. La sociedad de la puntuación corre el riesgo de confundir lo mensurable con lo importante. Es un viejo sesgo de la gestión empresarial. La IA puede acentuarlo. Medimos lo fácil y después lo optimizamos. Las dimensiones difíciles desaparecen. De ahí que algunas decisiones deban conservar un componente de valoración cualitativa. El problema es que el juicio humano puede ser sesgado, subjetivo. Una puntuación puede reducir ciertas arbitrariedades. Hay que reconocerlo. Sería igualmente erróneo idealizar la decisión humana. Un seleccionador de personal puede ser profundamente discriminatorio. En ocasiones, un modelo bien diseñado puede reducir esa discriminación. Por tanto, la cuestión no se resuelve diciendo «el ser humano es bueno y el algoritmo, malo». Hay que preguntarse qué arquitectura ocasiona menos injusticia y ofrece mejores vías de recurso. A veces convendrá combinarlos. El modelo señala a candidatos que habrían pasado inadvertidos; la persona aporta el contexto. Pero también aquí hay que vigilar el sesgo de automatización. Si el sistema ordena los currículos, es posible que los seleccionadores nunca lleguen a leer los que aparecen al final. El orden condiciona lo que se ve. Aunque en teoría decida una persona, el algoritmo ya ha hecho el primer filtro.

Por eso quienes supervisan el sistema deben examinar lo que ocurre antes de la decisión. ¿Quién resulta visible? Ahí reside un poder. La sociedad de la puntuación opera a menudo dejando a alguien fuera de la vista en vez de prohibirle algo. Una persona con una puntuación baja puede no recibir nunca un rechazo explícito: sencillamente no aparece entre las opciones. Eso es mucho más difícil de impugnar. De ahí que el derecho tenga que ocuparse de los sistemas de clasificación. Las plataformas ya se enfrentan a esa cuestión. La IA la extiende al trabajo y al crédito. Una clasificación puede tener tanto poder como una decisión. Cuando las consecuencias son importantes, debe poder auditarse. Y de nuevo, con sentido de la proporción. Una lista de canciones no tiene la gravedad de una lista ordenada de aspirantes a un empleo. Siempre volvemos a la matriz de riesgos. Esa cultura de la proporcionalidad es probablemente el mejor antídoto contra el pánico regulatorio.

No hace falta tratar cada puntuación como una amenaza existencial. Hay que ser más exigentes con las que influyen en los derechos fundamentales, en el acceso a la vivienda, al trabajo o a un crédito indispensable. Esa jerarquía deja espacio para innovar en usos de poca gravedad y ofrece protección firme en los críticos. Es el método que defendí para la autonomía. Un derecho maduro sabe distinguir. Pero a las empresas puede tentarles presentar un sistema como una mera ayuda cuando en realidad condiciona en gran medida la decisión. Habrá que examinar su efecto real. Una recomendación que se sigue en el 99 % de los casos es, prácticamente, una decisión. Otra vez, la diferencia entre la forma y el fondo.

No basta con una supervisión humana nominal. Las auditorías deben medir la frecuencia con que se rectifican los resultados: ¿cuántas veces cuestionan las personas de verdad la puntuación? Si nunca lo hacen, quizá les falte tiempo o tal vez el sistema sea realmente muy bueno. Hay que averiguarlo. Los datos pueden servir para auditar la propia gobernanza. Es un uso inteligente. Permiten ver si ciertos grupos obtienen sistemáticamente peores puntuaciones o si los recursos prosperan más en algunas categorías. Eso permite corregir. La IA puede contribuir así a controlar los propios sistemas de IA.

Pero tiene que haber una institución que preste atención a esas señales. El problema nunca es solo técnico. Una organización puede disponer de todos los datos sobre sus propias prácticas discriminatorias y decidir no actuar. La cultura y el derecho siguen siendo necesarios. Este capítulo enlaza así de lleno con el derecho a la redención. La sociedad de la puntuación tiende por naturaleza a acumular. Cada acción enriquece el perfil. Cuanto más rico es el perfil, más precisa se vuelve la predicción. Pero la persona necesita la posibilidad de romper con lo anterior. Por eso el sistema debe incorporar el olvido y la caducidad. Probablemente haya que distinguir los datos que describen un estado duradero de aquellos cuyos efectos no deben prolongarse para siempre. Hasta los primeros pueden cambiar. El nivel de competencia evoluciona. La situación financiera también. El modelo debe ser dinámico. Una puntuación de hace seis meses puede ser ya errónea. Es casi una paradoja: la IA quiere predecir el futuro, pero puede quedar prisionera de un pasado caduco. De ahí la importancia de actualizar bien los datos. Pero actualizar con mayor frecuencia significa recoger más datos. Otra vez, la disyuntiva. Quizá haya que permitir que la propia persona aporte voluntariamente información nueva para corregir el modelo sin vigilancia continua. Es una vía posible. Por ejemplo, alguien cuya situación haya cambiado puede solicitar una nueva evaluación. El control vuelve al individuo. Me parece saludable.

El agente personal podría desempeñar aquí un papel. Podría vigilar las puntuaciones que afectan a su usuario, detectar errores e interponer recursos. Ese sería un uso emancipador de la IA frente a la sociedad de la puntuación. El ciudadano aumentado frente a la institución aumentada. Una forma de simetría cognitiva. Si los bancos tienen modelos, las personas pueden contar con agentes capaces de comprender las decisiones. Se reduce así la asimetría. Una misma tecnología puede, por tanto, concentrar el poder o contribuir a repartirlo.

Todo depende del acceso. De ahí que el acceso a agentes de calidad plantee una cuestión de igualdad. Quien tenga dinero podrá pagar a expertos o disponer de modelos capaces de impugnar una puntuación. Los demás deben contar al menos con cierta capacidad de hacerlo. Tal vez las asociaciones, los servicios públicos y los sindicatos desarrollen agentes de defensa. Es una perspectiva interesante. La propia IA puede hacer efectivo el derecho de recurso.

Ese es precisamente el tipo de arquitectura que prefiero: utilizar la misma capacidad para crear un contrapoder. Frente a todo algoritmo que asigne puntuaciones de importancia debería existir la posibilidad de utilizar otro algoritmo para verificarlo. Pero cuidado con la carrera sin fin. El sistema se vuelve cada vez más complejo. Puede que la persona deje de entender el litigio entre los dos modelos. Hace falta un árbitro humano o institucional. Otra vez, la firma. Una competición entre puntuaciones no resuelve la cuestión de la legitimidad. En algún momento, un juez o un mediador debe decidir conforme a derecho. Volvemos a una verdad sencilla: la IA puede ampliar las capacidades del derecho, pero no puede sustituir su legitimidad. Esa frontera es decisiva.

Y nos lleva a una pregunta más profunda: ¿por qué nos parece importante el derecho a la imprevisibilidad?

Porque consideramos que una persona es más que la suma de sus determinismos. Es casi una posición filosófica. La ciencia puede mostrar que muchas conductas son estadísticamente previsibles. Eso no destruye el valor de la libertad jurídica. El derecho no depende de una metafísica absoluta del libre albedrío. Organiza la responsabilidad y la posibilidad de obrar de otro modo. Aunque una IA prediga con gran precisión que alguien hará algo, la sociedad puede decidir que solo se le juzgará cuando lo haya hecho. Es un límite normativo a la predicción. Esa idea es fundamental.

El derecho protege el espacio entre probabilidad y acto. En ese espacio reside la libertad política. Podríamos llamarlo presunción de imprevisibilidad. Mientras el acto no se haya producido, la predicción no equivale a culpabilidad. La regla debe mantener toda su fuerza. Se extiende más allá del derecho penal. Un empleador no debería tratar a alguien como desleal por el mero hecho de que un modelo pronostique su marcha. Una administración no debe retirar un derecho basándose únicamente en una probabilidad de fraude. La predicción puede dar lugar a una comprobación proporcionada, pero no a una condena. Es una arquitectura de prudencia. Y entronca directamente con el Blind Spot. El sistema debe repetirse sin cesar: puedo equivocarme sobre esta persona. Esa frase es casi la condición moral de toda IA que asigne puntuaciones. La incertidumbre no debe quedar reducida a un pequeño decimal. Ha de tener consecuencias en el procedimiento. Cuanto mayor sea la incertidumbre, más reversible debe ser la decisión. Volvemos a encontrar la autonomía proporcionada a la irreversibilidad.

La regla es verdaderamente universal. Si rechazar una recomendación musical carece de gravedad, el algoritmo puede actuar con libertad. Si denegar una vivienda puede trastornar una vida, el nivel de control debe ser elevado. Es una arquitectura ética fundada en las consecuencias. Me parece más sólida que las prohibiciones generales. Por otra parte, algunas prácticas ya han dejado de ser hipótesis: en la Unión Europea, el Reglamento de Inteligencia Artificial ya prohíbe ciertas formas de puntuación social y la predicción del riesgo individual de delincuencia basada exclusivamente en la elaboración de perfiles. Mi «derecho a la imprevisibilidad» va más allá: lo propongo como idea filosófica para pensar aquellas formas de predicción totalizadora que seguirían siendo jurídicamente posibles. ¿Por qué?

Porque ese tipo de puntuación fusiona ámbitos heterogéneos y convierte a la persona entera en una nota. Eso es precisamente lo que debe impedir la separación entre ámbitos. Una sociedad liberal en sentido político debe aceptar que cada individuo se desenvuelve en contextos diversos. Puede ser mal pagador y excelente padre, empleado mediocre y artista extraordinario. No hay una puntuación global legítima de la persona.

Todo intento de construir una nota general ejerce una violencia conceptual, aun antes de que se manifiesten sus consecuencias prácticas. Supone que una vida puede ordenarse sobre un único eje. Es falso. La identidad tiene muchas dimensiones. El grafo humano no se reduce a un número. Eso conecta directamente con mi pensamiento caleidoscópico. Una persona se compone de perspectivas, de tiempos distintos y, en ocasiones, de contradicciones. Querer reducirla a una puntuación es lo contrario del caleidoscopio. Es aplastar la complejidad. La sociedad algorítmica debe, pues, aprovechar la potencia del cálculo para respetar mejor la complejidad en vez de suprimirla. Es paradójico, pero posible. El modelo puede representar varias dimensiones y dar cuenta de sus incertidumbres en lugar de producir una cifra única.

Pero la institución debe evitar el exceso de síntesis. Quienes deciden quieren una luz verde o roja. La realidad es más compleja. Hay que aprender a interpretar algo complejo. La IA puede sintetizar sin reducirlo todo a una cifra. Por ejemplo, puede presentar tres factores de riesgo y dos factores de protección. Eso hace la decisión más humana. De nuevo, el procedimiento contradictorio incorporado al modelo. De modo que, si queremos, podemos transformar la sociedad de la puntuación en una sociedad que sepa atender al contexto. Sería una mutación positiva. La IA no solo asigna puntuaciones; también puede explicar escenarios. Podemos pasar de la calificación a la conversación. El ciudadano puede preguntar: ¿por qué? ¿Qué elemento podría corregir? Es algo muy distinto. La puntuación cierra. El diálogo abre. Es la distinción que recorre todo el libro. La IA como oráculo o como interlocutora. Prefiero a la interlocutora. El oráculo pronuncia su sentencia.

A la interlocutora se la puede cuestionar. Esa es la arquitectura que debemos generalizar.

Pero hasta el diálogo puede convertirse en un instrumento de manipulación si lo controla una institución interesada en el resultado. Un sistema de crédito podría explicarles con suma amabilidad por qué les deniega un préstamo y convencerlos de que la decisión era inevitable. De nuevo, la persuasión algorítmica. De ahí que hagan falta fuentes y una instancia externa a la que recurrir.

La explicación no sustituye al derecho. Esa regla rige siempre. Llegamos así a la cuestión de la identidad social. Si proliferan las puntuaciones, la persona puede empezar a verse a través de ellas. Soy un 720 en crédito, un 4,7 en valoraciones, un 82 % en productividad. El espejo digital puede colonizar la imagen que tenemos de nosotros mismos. Es un fenómeno psicológico importante. Ya hemos visto el efecto de los seguidores y los «me gusta». El número funciona como validación. La IA puede multiplicar las mediciones personales: sueño, salud, productividad. Algunas son útiles. Pueden ayudarnos a mejorar. Pero también pueden convertir la vida en un tablero de indicadores. El cuerpo pasa a ser un proyecto de optimización permanente. Cada jornada arroja una puntuación. Para algunos, medirse uno mismo puede ser liberador; a otros les provoca ansiedad. Tampoco aquí hay un veredicto único. El problema surge cuando la medición deja de ser una herramienta voluntaria y se convierte en una exigencia social. Si el empleador pide la puntuación del sueño, desaparece la libertad. Si la aseguradora exige la puntuación de actividad, el cuidado de la salud desemboca en vigilancia. Debe haber, pues, límites firmes entre las mediciones para uso propio y el uso que puedan hacer terceros. Cada persona debe poder medir muchos aspectos de su vida sin que esa información quede al alcance de las instituciones. Es un derecho importante. Un dispositivo personal de salud no debe convertirse automáticamente en un sensor al servicio del empleador o la aseguradora. Volvemos a la separación entre ámbitos. Me parece una regla esencial para una civilización. La intimidad digital debe seguir siendo íntima. El mero hecho de que un dato exista no da a la sociedad derecho a consultarlo. Será difícil mantener esa distinción porque los incentivos económicos empujan a compartir. Un seguro más barato si comunican su actividad. Parece ventajoso. Después, quienes se niegan pagan más. La presión aumenta. Volvemos a la dimensión colectiva del consentimiento. A veces habrá que prohibir que se discrimine a alguien por negarse a compartir ciertos datos. De otro modo, la libertad de elección es ficticia. En ese terreno el derecho tendrá que ser valiente. Pero también hay que dejar margen a la innovación en materia de prevención. Un programa voluntario de salud puede ser beneficioso. Lo decisivo es la finalidad y la posibilidad de retirarse sin sufrir una sanción desproporcionada. De nuevo, la proporcionalidad. Volvemos siempre a las mismas herramientas porque son las adecuadas: finalidad, minimización, separación entre ámbitos, recurso, caducidad, pluralismo. Casi podría escribirse con ellas una constitución de la puntuación. Y sería útil, porque los sistemas de puntuación no van a desaparecer. Tienen demasiado poder y a veces son demasiado útiles. El objetivo no es prohibirlos. Es impedir que lo abarquen todo.

Ahí está la línea.

La sociedad de la puntuación se vuelve peligrosa cuando la nota deja de ser un instrumento circunscrito a un ámbito y se convierte en lenguaje general del valor humano. Eso es precisamente lo que hay que impedir. La dignidad no es una puntuación. La ciudadanía no es una puntuación. La posibilidad de empezar de nuevo no debe depender eternamente de una nota. Esta doctrina me parece clara. Encaja plenamente con el derecho a la redención que siempre he defendido.

El sistema debe dejar una puerta abierta. Incluso después de un error. Incluso después de una mala nota. De lo contrario, la sociedad algorítmica se desliza hacia un régimen de castas probabilísticas. La casta tradicional los encerraba en una categoría por nacimiento. Una casta digital podría encerrarlos por sus datos. La diferencia técnica no reduce la violencia del mecanismo. Quizá incluso la agrave por darle apariencia de objetividad. Ese es el peligro de las cifras: pueden revestir de neutralidad una jerarquía. Ya no se discrimina a una persona porque alguien la deteste. Se la excluye porque «su puntuación es 42». El poder se oculta detrás del indicador. Esa es precisamente la disolución de la responsabilidad que rechazo. Alguien eligió el modelo, el umbral, la finalidad. Hay que reconstruir esa cadena. Siempre.

Una puntuación nunca es un fenómeno natural. Se construye.

Aunque se calcule de forma automática, se apoya en elecciones humanas. ¿Qué datos? ¿Qué período? ¿Qué objetivo? ¿Qué umbral? Quienes supervisan el sistema deben poder reconstruir esa genealogía. Volvemos a la procedencia. El origen de una puntuación cobra tanta importancia como el de una imagen.

¿De dónde viene ese número?

Vemos aquí cómo confluyen todos los capítulos. El mundo sintético, los agentes, los mercados, las puntuaciones. Plantean siempre la misma pregunta: ¿cómo reconstruir la cadena de responsabilidad en un mundo donde la acción está distribuida? Probablemente sea la gran cuestión institucional de la era de la IA. La inteligencia se distribuye. Debe seguir siendo posible reconstruir la cadena de responsabilidad. Esa frase casi resume toda esta secuencia.

Y la sociedad de la puntuación nos obliga a añadir algo: la predicción puede distribuirse, pero la dignidad no debe diluirse en ella. Cada persona debe conservar el derecho a ser algo más de lo que el sistema piensa de ella. En eso consiste el derecho a la imprevisibilidad. No es un derecho a escapar de toda estadística, sino a que las estadísticas no absorban nuestra libertad. Ese principio puede traducirse en disposiciones jurídicas. Me parece lo bastante sólido como para convertirse en una doctrina europea, quizá universal.

Europa tiene una tradición jurídica especialmente sensible a la dignidad y a la protección de datos. Su defensa del derecho a que los algoritmos no lo abarquen todo podría ser una aportación de primer orden. Pero, una vez más, se necesita una industria que respalde ese derecho. Agentes y modelos deben incorporar esos principios. De lo contrario, quedarán en el papel. Hay que llevar la protección al código y auditarla. Una sociedad que prohíbe la puntuación general debe impedir también por medios técnicos la fusión de determinadas bases de datos. El derecho se convierte en arquitectura. Una y otra vez. Eso me confirma que el jurista del futuro tendrá que hablar con el ingeniero. Una prohibición que no se traduzca en medidas técnicas puede eludirse mediante un sinfín de inferencias. El ingeniero debe comprender el espíritu de la ley. Ese diálogo pasa a ocupar un lugar decisivo. Tal vez aparezcan equipos dedicados a la arquitectura de los derechos, en los que juristas y especialistas en datos diseñen juntos los sistemas. Es algo que me gustaría ver. Así sería menos frecuente lo que hoy ocurre: que la ética llegue después del producto. El derecho a la imprevisibilidad debe estar presente desde el diseño. Por ejemplo: fijar una fecha de caducidad para los datos, mantener separados ciertos ámbitos, hacer posible el recurso. Son funciones técnicas. La filosofía toma cuerpo en el código. Puede parecer inquietante, pero es inevitable. Los valores se materializan en la arquitectura.

Ya ocurría con los edificios. Una prisión panóptica expresa una filosofía del control. Una interfaz o una base de datos hacen otro tanto, aunque de forma menos visible. De ahí que tengamos que aprender a leer el código como arquitectura política. Es una cultura nueva. El urbanista estudia la ciudad. El constitucionalista del futuro deberá estudiar los flujos de datos. Me parece evidente. Y los principios que orientan esa lectura deben ser públicos. Una sociedad democrática debe saber qué clases de puntuaciones utilizan sus instituciones. Un registro de los sistemas de alto impacto podría ofrecer una buena solución: incluir los sistemas que afectan a derechos importantes, sin perderse en una lista interminable de algoritmos menores.

¿Quién los utiliza?

¿Para qué?

¿Qué vías de recurso hay?

Eso aumentaría la confianza. Otra vez, la transparencia proporcionada. Pero el peligro de la sociedad de la puntuación no acaba en las instituciones. Se traslada a la propia IA. Los asistentes podrían empezar a asignarnos perfiles permanentes sin decirlo, para personalizar sus respuestas. Puede ser útil. Pero si el sistema siempre nos trata de acuerdo con un perfil antiguo, reduce nuestra posibilidad de mutar. La IA personal también debe incorporar el derecho a la imprevisibilidad. Debe admitir que quien la usa puede cambiar.

Quizá podría preguntar de vez en cuando si determinadas preferencias siguen vigentes, o permitir que se empiece de cero en ciertos temas. Esa flexibilidad es esencial. Un asistente que «los conoce demasiado bien» puede convertirse en una prisión amable. Se anticipa a todo y siempre les propone lo que ustedes habrían elegido ayer. La sorpresa desaparece. Ese límite confiere al derecho a la imprevisibilidad un alcance inmediato en nuestro propio diálogo. Una inteligencia que me acompaña no solo debe aprender lo que he sido: también tiene que dejarme la posibilidad de llegar a ser alguien distinto de lo que prevé su modelo de mí. Volvemos al problema de la exploración.

El ser humano necesita que algo de sí mismo se le escape.

No siempre sabemos lo que deseamos antes de encontrárnoslo. Un sistema que predice con excesiva perfección puede suprimir el encuentro. La cuestión va más hondo que la puntuación económica. El derecho a la imprevisibilidad es también un derecho existencial.

El derecho a llegar a ser alguien a quien nuestro pasado no permitía prever.

Quizá sea incluso una de las definiciones más poderosas de la libertad humana en la era de la IA. Ser libre es también poder desmentir el modelo que nos describe. Somos, desde luego, producto de una historia y de determinismos. Pero las instituciones de una sociedad humanista deben mantener abierta la posibilidad de ruptura. No necesitan resolver el problema filosófico del libre albedrío. Basta con que no cierren la puerta antes de que hayamos actuado. La doctrina se vuelve muy concreta cuando hablamos de redención.

Un condenado que ha cumplido su pena debe poder rehacer su vida. Un empresario que ha fracasado debe poder volver a intentarlo. Un adolescente que no destaca en la escuela puede llegar a ser un gran investigador. Tal vez el modelo estadístico diga que esos casos son poco frecuentes. No importa. Una civilización se juzga también por el lugar que deja al caso excepcional. Ahí es precisamente donde se encuentran el caos y la mutación. El sistema que elimina todas las anomalías elimina parte de su futuro. La naturaleza lo sabe. Hay variaciones genéticas que parecen inútiles hasta que cambia el entorno. La sociedad debe preservar su diversidad de conductas. La puntuación empuja a una selección permanente. Hace falta, pues, una fuerza que la contrarreste. Espacios donde sea posible fracasar sin quedar fichado para siempre. Lugares donde se concedan segundas oportunidades. Es una arquitectura de resiliencia social.

Una sociedad que permite empezar de nuevo se adapta mejor que otra que encasilla a cada cual en una categoría fija. Es el principio de «solo los mutantes sobreviven» aplicado al derecho. El derecho a la redención va más allá de la compasión. Es una estrategia de mutación colectiva. Encuentro una gran fuerza en esa idea. Una sociedad que jamás perdona sus errores reduce el número de caminos posibles.

Se vuelve rígida. La rigidez es peligrosa en un entorno cambiante. La misericordia puede ser una forma de resiliencia. La palabra puede sonar moral o religiosa, pero posee una dimensión sistémica. Permitir que alguien cambie multiplica los futuros posibles. Y eso es precisamente lo que a veces la puntuación procura reducir para hacer el mundo más previsible.

Debemos elegir, pues, hasta qué punto queremos que el mundo sea previsible. Una sociedad enteramente previsible quizá fuera más fácil de administrar, pero también menos libre y probablemente menos innovadora. La imprevisibilidad es uno de los costes de la libertad.

Una democracia admite que los ciudadanos elijan a veces opciones que el gobierno considera malas. Un mercado admite que haya empresarios que inviertan en ideas que fracasan. El arte admite lo inclasificable.

Esa imprevisibilidad trae consigo despilfarro, desorden y, también, novedades.

Los regímenes autoritarios sueñan a menudo con reducir la incertidumbre social. La IA puede darles herramientas para ello. La democracia, en cambio, ha de aprender a gestionar la incertidumbre sin pretender abolirla. Es una diferencia filosófica profunda. La seguridad no consiste en que nada imprevisible suceda. Consiste en la capacidad de responder a ello. De nuevo, la resiliencia antes que el oráculo.

Ahí se cierra el círculo de esta secuencia. Debemos utilizar la IA para construir instituciones capaces de convivir con la incertidumbre humana, sin pretender suprimirla. Esa distinción podría convertirse en una línea divisoria entre civilizaciones. De un lado, las arquitecturas que tratan de predecir para controlar. Del otro, las que tratan de comprender para ampliar la libertad y la resiliencia. Por supuesto, ninguna sociedad encarnará una forma pura. También las democracias utilizarán puntuaciones. Los regímenes autoritarios pueden usar la IA para prestar servicios útiles. No se trata de caricaturizar. Pero importa la orientación de las normas.

¿Hacia dónde se inclina el sistema por defecto?

Cuando vacila, ¿prefiere dejarle una posibilidad a la persona o aferrarse a la seguridad de su predicción?

La pregunta se planteará por doquier. En el crédito, la escuela, la policía. Deberemos establecer umbrales distintos. Pero hay un principio que puede mantenerse: cuanto más decisiva sea una medida para el futuro de una persona, menos debe fundarse exclusivamente en lo que las estadísticas dicen de su pasado. Esa formulación me parece muy sólida. El futuro no debe pertenecer al pasado. La IA aprende del pasado. El derecho protege la posibilidad del futuro. Quizá sea ese el vínculo más hermoso entre ambos. La inteligencia artificial es una inmensa máquina que extrae regularidades de lo ya ocurrido. La civilización debe conservar un espacio donde aún pueda aparecer lo que jamás ha ocurrido. En él residen el arte, la innovación, la redención.

La propia Demeure du Chaos probablemente habría obtenido una puntuación de conformidad desastrosa si un modelo la hubiera comparado con los inmuebles vecinos. Y, sin embargo, en esa ruptura reside precisamente su valor. De ahí que la puntuación nunca deba convertirse en juez universal. Mide la desviación. A veces la historia decide que quien se apartó de la norma se había adelantado a su tiempo. Esa dimensión temporal es fundamental. El presente clasifica; el futuro revisa la clasificación. Una sociedad empeñada en puntuarlo todo en tiempo real olvida que los significados se transforman. La obra que hoy nadie entiende puede ser patrimonio mañana. El empresario al que tachan de insensato puede llegar a ser un pionero. La puntuación siempre queda cautiva del momento en que se calculó. Ese es un límite que la IA nunca podrá eliminar del todo. Puede aprender a partir de escenarios, pero el porvenir crea categorías nuevas. En eso consiste la mutación. Y esa idea nos lleva naturalmente a la siguiente pregunta. Si debemos proteger la imprevisibilidad y la capacidad de ruptura, ¿en qué se convierte la educación en un mundo donde los modelos pueden predecir, personalizar y acompañar cada aprendizaje? La escuela puede llegar a ser uno de los lugares de mayor emancipación algorítmica o, por el contrario, el primer lugar donde se nos puntúe sin descanso.

Un tutor de IA puede ayudar a cada niño a avanzar a su ritmo, detectar una dificultad y abrir caminos. Pero también puede registrar cada vacilación, cada error, y trazar desde la infancia un perfil cognitivo que acompañará a esa persona. Da vértigo pensarlo. La educación debe ser precisamente el lugar donde cada cual llega a ser alguien distinto de quien era. No puede convertirse en la institución que antes que ninguna otra lo encierre en una predicción.

¿Cómo utilizar un tutor casi individual sin convertir al alumno en un perfil permanente?

¿Cómo preservar al profesor, el vínculo, la dimensión colectiva? Y sobre todo, ¿qué sigue siendo necesario aprender cuando podemos recurrir a la inteligencia en cualquier momento?

El derecho a la propia formación prolonga así el derecho a la imprevisibilidad: aprender es conservar la posibilidad de llegar a ser alguien distinto de quien había previsto el modelo.

Pero esta pregunta nos devuelve al dispositivo que sostuvo el libro entero. Porque lo que acabamos de examinar a escala de la sociedad —la memoria, la predicción, la contradicción, la libertad, la capacidad de mutar— estuvo también en juego, durante cuarenta días y cuarenta noches, en nuestro propio diálogo.

Ha llegado la hora de mirar ese diálogo en sí mismo.