Gobernar antes de automatizar

Introducción

La primera encíclica de León XIV sobre inteligencia artificial no es solo oportuna. Es necesaria.

Llega en un momento en que la IA avanza con una velocidad que desborda categorías jurídicas, estructuras empresariales, hábitos de decisión y, en muchos casos, nuestra propia capacidad de discernimiento. La tecnología ya no se limita a apoyar tareas. Empieza a ordenar información, condicionar decisiones, desplazar capacidades, concentrar poder y redefinir relaciones entre personas, empresas, instituciones y mercados.

Por eso Magnifica Humanitas no debería interesar solo a teólogos, juristas o especialistas en ética tecnológica. También debería interesar a quienes gobiernan empresas.

No porque un consejo u órgano de administración deba convertir una encíclica en política corporativa. Sino porque el documento formula, con lenguaje moral y social, una pregunta que muchas organizaciones no pueden seguir aplazando: cuando incorporamos inteligencia artificial, ¿qué estamos construyendo realmente? ¿qué significa gobernar una tecnología que afecta a personas, poder, trabajo, verdad, libertad, responsabilidad y límites?

La cuestión no es solo qué herramienta usamos. Es qué decisiones desplazamos, qué poder concentramos, qué dependencia creamos, qué personas pueden verse afectadas y quién responde cuando el sistema se equivoca.

Ahí la conversación deja de ser tecnológica. Entra en el terreno del gobierno corporativo.

Conviene precisar desde el inicio el alcance de esta lectura. No propongo trasladar doctrina religiosa al consejo de administración, ni convertir Magnifica Humanitas en una política corporativa, ni leer el Reglamento Europeo de Inteligencia Artificial como si fuera una derivación jurídica de la encíclica. Son planos distintos.

Lo que propongo es otra cosa: una lectura aplicada desde el gobierno corporativo. La encíclica ofrece una fuente de criterio sobre persona, poder, responsabilidad, verdad, trabajo, libertad y límites. El RIA aporta un marco jurídico basado en riesgos. El gobierno corporativo debe convertir esas preocupaciones —cada una en su plano— en estructuras reales de supervisión, evidencia, control y decisión.

Resumen ejecutivo

Este documento propone una lectura de Magnifica Humanitas desde el gobierno corporativo de la inteligencia artificial. No como traslado de doctrina religiosa al consejo de administración, ni como sustitución del marco jurídico europeo, sino como fuente de criterio para una cuestión que ya es empresarial: cómo gobernar una tecnología que puede afectar decisiones, dependencias, personas, capacidades, reputación y continuidad.

Es una propuesta para traducir los conceptos de dignidad, verdad, libertad, trabajo, responsabilidad y bien común en criterios operativos de supervisión tecnológica.

Tres ideas centrales

Primera. La IA no es solo una herramienta. En determinados usos puede convertirse en infraestructura de decisión, dependencia operativa y factor de reorganización del poder dentro de la empresa.

Segunda. La IA responsable no se acredita con declaraciones de principios. Se demuestra con gobierno verificable: inventario de usos, criticidad, responsables internos, evidencia, métricas, terceros críticos, límites y umbrales de elevación.

Tercera. El órgano de administración no debe gestionar la IA. Pero sí debe supervisar sus riesgos materiales cuando afectan a personas, derechos, reputación, continuidad, cumplimiento, datos, capacidades internas o estrategia.

Tres consecuencias para el órgano de administración

Primera. Inventario, criticidad, responsables, métricas y umbrales dejan de ser burocracia. Son condiciones mínimas para que la supervisión sea posible.

Segunda. Los proveedores de IA pueden dejar de ser simples terceros tecnológicos y convertirse en dependencias críticas de decisión, operación y conocimiento.

Tercera. La continuidad de capacidades debe formar parte del apetito de riesgo tecnológico: no todo riesgo se mide en incidentes, caídas de sistemas o incumplimientos; a veces el riesgo consiste en dejar de formar a quienes mañana deberán supervisar, corregir o cuestionar la tecnología.

Tres preguntas de órgano

¿Qué decisiones, tareas o capacidades estamos desplazando con IA?

¿Quién responde internamente por cada uso relevante y con qué evidencia?

¿Qué usos no aceptamos, aunque sean técnicamente posibles o económicamente atractivos?

Tesis de fondo

La IA responsable no empieza cuando una empresa aprueba principios. Empieza cuando puede demostrar cómo los gobierna.

1. La IA como nueva cuestión social y corporativa

Magnifica Humanitas sitúa la inteligencia artificial en la tradición de las grandes cuestiones sociales. No la trata como un simple avance técnico ni como una moda regulatoria. La presenta como una transformación que afecta al modo en que vivimos, trabajamos, decidimos, nos informamos, ejercemos la libertad y organizamos el poder.

Esta es, probablemente, una de las claves más relevantes del documento: la IA no aparece como un apéndice temático. La Doctrina Social de la Iglesia —entendida aquí no como un código cerrado de respuestas técnicas, sino como la forma en que la Iglesia se sitúa en la historia y entabla diálogo con el mundo— permite leer la IA como una nueva cuestión social. La encíclica recuerda que, en cada época, las res novae obligan a repensar las preguntas de la historia a la luz de criterios permanentes (persona, dignidad, trabajo, verdad, libertad, poder, bien común). Hoy, una de esas res novae es la inteligencia artificial. (Magnifica Humanitas, nn. 3-5)

La lectura empresarial es inmediata.

Leída desde la empresa, la encíclica es también una llamada a incorporar pensamiento crítico allí donde muchas veces domina el entusiasmo tecnológico.

Muchas organizaciones vienen tratando la IA como una cuestión de innovación, eficiencia o competitividad. En algunos casos, como un asunto de sistemas. En otros, como un capítulo de cumplimiento. En otros, simplemente como una oportunidad comercial.

Todo eso es cierto, pero insuficiente.

Cuando la IA afecta a clientes, empleados, proveedores, reporting, precios, crédito, selección de personal, prevención del fraude, comunicación pública, decisiones de inversión, gestión de riesgos o continuidad operativa, deja de ser un asunto puramente técnico. Pasa a formar parte de la arquitectura de decisión de la empresa. Se convierte en materia de gobierno.

No porque el órgano de administración deba gestionar modelos, proveedores, arquitecturas, datos o configuraciones. No es esa su función. Supervisión no es gestión. Pero tampoco puede quedar ciego ante una tecnología que empieza a intervenir en decisiones relevantes para la compañía y para las personas que se relacionan con ella, que puede modificar riesgos materiales, dependencias críticas, reputación, cumplimiento, continuidad y confianza.

El punto no es que todo uso de IA deba subir al órgano de administración. Eso sería absurdo. El punto es que la organización debe saber distinguir qué usos son ordinarios, qué usos son sensibles y qué usos son verdaderamente críticos.

Y esa distinción no se improvisa cuando aparece el incidente. Se diseña antes.

2. Babel o Nehemías: dos formas de construir con tecnología

La encíclica utiliza dos imágenes bíblicas de enorme fuerza: Babel y Nehemías. (Magnifica Humanitas, nn. 7-10)

Babel representa una construcción grandiosa, técnicamente poderosa, pero orientada por la autosuficiencia, la uniformidad y el dominio. Es la tentación de creer que una sola lengua, una sola tecnología y una sola dirección bastan para edificar el futuro. El resultado no es la comunión, sino la dispersión. No es la unidad, sino la incomprensión. No es la grandeza humana, sino su desfiguración.

Nehemías, en cambio, representa otra lógica. La reconstrucción paciente de una ciudad dañada. La escucha antes de actuar. La responsabilidad compartida. Cada familia asumiendo su tramo de muralla. La coordinación de esfuerzos diversos. La reconstrucción de vínculos antes que la simple reconstrucción de piedras.

La encíclica lo formula como una elección entre construir Babel o reconstruir Jerusalén. No entre estar a favor o en contra de la tecnología, sino entre dos modos de construir con ella: uno orientado al dominio, al poder, y otro orientado al bien común, a la custodia de lo humano.

En la empresa, esta metáfora tiene una traducción muy concreta.

Babel aparece cuando la IA se incorpora por fascinación tecnológica, por presión competitiva o por promesa de eficiencia, sin suficiente deliberación sobre sus efectos. Aparece cuando se automatiza antes de gobernar. Cuando se confía en la herramienta porque “funciona”, sin preguntar suficientemente para quién funciona, contra quién puede funcionar, qué variable optimiza o qué responsabilidad desplaza. Cuando la organización confunde velocidad con criterio.

Babel aparece también cuando el lenguaje se vuelve excesivamente técnico y deja fuera a quienes deben decidir. Cuando el órgano de administración recibe una presentación brillante pero no entiende qué decisiones reales se han delegado, qué riesgos se han aceptado o qué controles existen. Cuando la dirección habla de IA responsable, pero nadie puede explicar con claridad qué usos están inventariados, qué sistemas son críticos, qué proveedores son relevantes, qué datos se utilizan, quién responde de cada modelo o cuándo debe elevarse una alerta.

Nehemías, por el contrario, es una imagen adecuada para el buen gobierno de la IA.

No se trata de que una sola función —tecnología, legal, compliance, riesgos, negocio o auditoría— asuma todo. Cada una tiene su tramo de muralla. Tecnología debe conocer y controlar la arquitectura. Legal debe traducir obligaciones y límites. Compliance debe vigilar consistencia normativa. Riesgos debe integrar criticidad e impacto, identificar exposición. Negocio debe responder de los usos concretos. Auditoría debe verificar. Dirección debe implantar. Y el órgano de administración debe supervisar que el conjunto existe, es coherente y funciona.

La IA no se gobierna desde un único lugar. Se gobierna con una arquitectura de responsabilidades.

Y esa arquitectura debe ser inteligible.

3. Inteligencia no es sabiduría

Una de las intuiciones más relevantes que me suscita Magnifica Humanitas es que inteligencia y sabiduría no son equivalentes.

La inteligencia artificial puede procesar información, reconocer patrones, generar lenguaje, clasificar perfiles, anticipar comportamientos, formular recomendaciones y producir resultados sorprendentemente útiles. En muchos casos puede hacerlo con más rapidez, escala y consistencia que una persona.

Pero eso no la convierte en sujeto moral. Tampoco la convierte en instancia prudencial. Y, desde luego, no la convierte en responsable de la decisión. La encíclica advierte precisamente contra el equívoco de equiparar esta “inteligencia” a la inteligencia humana, de atribuir a la máquina una forma de inteligencia que pueda confundirse con la sabiduría humana, el juicio moral o la responsabilidad personal. (Magnifica Humanitas, n. 99)

Esta distinción es decisiva para el gobierno corporativo.

Una organización puede utilizar sistemas muy inteligentes y, al mismo tiempo, tomar decisiones poco sabias. Puede optimizar costes y deteriorar capacidades. Puede acelerar procesos y reducir deliberación. Puede mejorar predicción y aumentar dependencia. Puede ganar eficiencia y perder comprensión. Puede personalizar servicios y erosionar libertad. Puede cumplir formalmente y gobernar mal.

La inteligencia sin sabiduría puede producir eficiencia sin criterio.

Y esto exige una advertencia especialmente incómoda: el riesgo no está solo en que la IA falle. Está también en que funcione muy bien dentro de un marco mal definido.

Esta cautela no es solo moral o filosófica. También dialoga con una corriente crítica muy sólida dentro del propio análisis técnico de la IA. Arvind Narayanan y Sayash Kapoor han advertido contra la tendencia a atribuir a la IA capacidades que no tiene, a exagerar sus prestaciones y a convertir modelos útiles en promesas excesivas. En España, Ramón López de Mántaras, desde otra tradición de análisis, ha insistido igualmente en desmontar mitos sobre la inteligencia artificial general y en distinguir entre capacidades computacionales y verdadera inteligencia humana.

La aportación de Magnifica Humanitas no sustituye ese análisis técnico. Lo lleva a una pregunta de gobierno: qué no debemos delegar sin responsabilidad, evidencia y límites.

Un sistema puede segmentar clientes con enorme precisión, pero hacerlo sobre datos sesgados o con efectos discriminatorios. Puede seleccionar candidatos con gran rapidez, pero reforzar patrones históricos injustos. Puede medir productividad, pero empobrecer la confianza interna. Puede recomendar decisiones de crédito, precios, cobertura, contratación o despido, pero ocultar supuestos, errores o correlaciones inaceptables.

La encíclica advierte del riesgo de confiar decisiones que afectan a trabajo, crédito, servicios, reputación u oportunidades a sistemas automatizados que pueden presentar como neutral lo que en realidad incorpora sesgos, prioridades o intereses. (Magnifica Humanitas, nn. 102-104)

Por eso, la pregunta de gobierno no es solo “qué puede hacer la IA”.

La pregunta es otra: qué no debemos delegar en ella sin criterio, evidencia, supervisión humana y responsabilidad identificable.

En el fondo, la encíclica invita a recuperar una palabra antigua que en el mundo corporativo no siempre se usa lo suficiente: prudencia.

No prudencia como miedo. No prudencia como inmovilismo. No prudencia como freno burocrático. Prudencia como capacidad de decidir bien en condiciones de incertidumbre, ponderando fines, medios, consecuencias y límites.

La empresa que confunde inteligencia con sabiduría puede terminar sustituyendo juicio por cálculo. Y ese desplazamiento no siempre se ve en el corto plazo. A veces aparece cuando el sistema ya está integrado, el proveedor ya es crítico, el proceso humano ya se ha debilitado y la capacidad interna de cuestionar la recomendación se ha reducido.

Gobernar la IA significa, entre otras cosas, impedir que la organización pierda sabiduría mientras gana capacidad técnica.

4. La ética de la IA empieza cuando alguien responde

En los últimos años se ha multiplicado el lenguaje de la IA ética: principios, valores, compromisos, declaraciones, marcos de confianza, códigos internos. Todo ello puede ser útil. Pero también puede quedarse en un plano retórico si no se traduce en gobierno.

La pregunta ética no es solo si la compañía declara que su IA será justa, transparente, humana o segura. La pregunta es quién comprueba que lo sea, con qué evidencia, con qué frecuencia, frente a qué riesgos y con qué capacidad real de corrección.

Ahí Magnifica Humanitas aporta, a mi juicio, algo especialmente valioso. No permite separar la técnica de la persona, ni el poder de la responsabilidad, ni la innovación de sus efectos sobre verdad, trabajo, libertad o dignidad. Su contribución no está en ofrecer un manual de compliance, sino en impedir que la ética de la IA se reduzca a vocabulario aspiracional. (Magnifica Humanitas, nn. 5, 99, 102-107, 132-137, 148-150 y 170-172)

Esta es una cuestión muy relevante para la empresa.

Una organización puede aprobar principios excelentes y, sin embargo, no saber cuántos usos reales de IA tiene desplegados. Puede hablar de transparencia y no poder explicar suficientemente una recomendación automatizada. Puede invocar supervisión humana y no haber dado a la persona tiempo, formación o autoridad para corregir el resultado. Puede comprometerse con la no discriminación y no revisar datos, sesgos o impactos diferenciados. Puede hablar de seguridad y depender de terceros críticos sin capacidad real de verificación. Puede, en fin, hablar de dignidad y no evaluar el impacto en empleados, clientes o personas vulnerables.

En ese caso, la ética no ha llegado al sistema de gobierno. Se ha quedado en el lenguaje.

La ética de la IA no se demuestra por los principios que una empresa declara, sino por el sistema de gobierno que permite saber quién decide, quién controla, quién responde, qué evidencia existe y cuándo un uso debe detenerse o elevarse.

Esta es, a mi juicio, una frontera clave.

La IA responsable no puede depender solo de buenas intenciones. Necesita estructura. Responsables. Métricas. Trazabilidad. Capacidad de revisión. Límites.

El órgano de administración debe saber expresar qué riesgos tecnológicos está dispuesto a aceptar y cuáles no. El apetito de riesgo no es solo una cifra, una matriz o una declaración formal. En materia de IA, también debería expresar qué usos, dependencias, niveles de opacidad, efectos sobre personas o deterioro de capacidades internas la compañía no está dispuesta a asumir.

En términos de gobierno, la ética empieza cuando alguien responde.

5. Del principio ético al sistema real de gobierno

Muchas compañías empezarán —o ya han empezado— por aprobar principios de IA responsable. Es comprensible y recomendable. Los principios ordenan el lenguaje, fijan aspiraciones y ayudan a expresar compromisos. Pero los principios, por sí solos, no gobiernan.

Un documento ético no sustituye a un sistema de gobierno.

La pregunta verdaderamente relevante no es si la empresa declara que su IA será humana, transparente, justa, segura y responsable. La pregunta es si puede demostrarlo de forma operativa.

Y ahí empieza la diferencia entre retórica y gobierno.

Una organización que quiere gobernar la IA necesita, como mínimo, saber qué sistemas utiliza, para qué fines, con qué datos, con qué proveedor, con qué impacto potencial, con qué nivel de supervisión, con qué responsable interno y con qué umbrales de elevación.

Sin inventario no hay gobierno.

Sin clasificación de criticidad no hay prioridades.

Sin responsable interno no hay rendición de cuentas.

Sin métricas verificables no hay supervisión.

Sin umbrales de elevación no hay frontera entre gestión ordinaria y asunto de órgano de administración.

A mi modo de ver las cosas, esta es una de las grandes traducciones corporativas de Magnifica Humanitas: la dignidad humana no puede quedar como invocación general. Debe convertirse en criterio de diseño, decisión, control y supervisión.

En términos prácticos, esto exige una disciplina mínima.

Primero, inventario de usos de IA. No solo grandes sistemas estratégicos, sino también herramientas incorporadas en procesos comerciales, recursos humanos, atención al cliente, análisis financiero, cumplimiento, comunicación, ciberseguridad, compras, operaciones o reporting.

Segundo, clasificación por criticidad. No todos los usos exigen la misma intensidad de control. Un asistente interno de productividad no plantea los mismos riesgos que un sistema que influye en contratación, crédito, precios, cobertura, despido, salud, seguridad, acceso a servicios o continuidad operativa.

Tercero, identificación del responsable interno. Cada uso relevante debe tener un propietario de negocio y, cuando proceda, responsables técnicos, jurídicos, de datos, seguridad y cumplimiento. La responsabilidad no puede quedar diluida en “el sistema”, “el proveedor” o “el área de tecnología”.

Cuarto, trazabilidad mínima. La organización debe poder explicar qué datos se utilizan, qué finalidad se persigue, qué proveedor interviene, qué limitaciones son conocidas, qué controles se han previsto y qué documentación existe.

Quinto, supervisión humana efectiva. No basta con decir que hay human in the loop si la persona no entiende el sistema, no tiene tiempo real para revisar, no puede cuestionar el resultado o sabe que apartarse de la recomendación será visto como una anomalía.

Sexto, reporting útil. No más información, sino mejor información. El órgano de administración o el comité correspondiente no necesita un catálogo técnico interminable. Necesita visibilidad sobre los usos materiales, las incidencias relevantes, las métricas críticas, las dependencias y las decisiones que requieren criterio.

Séptimo, umbrales de elevación. La organización debe saber cuándo una cuestión de IA deja de ser una incidencia operativa y se convierte en asunto de supervisión. Un fallo en un sistema crítico, una desviación de sesgo, una reclamación colectiva, un incidente reputacional, una dependencia de proveedor sin alternativa o un impacto laboral relevante no deberían perderse en capas intermedias de reporte.

Aquí conviene aplicar una regla sencilla en materia de reporte y elevación: un rojo en un uso crítico de IA no se diluye en el promedio.

Puede haber muchos usos menores funcionando razonablemente bien. Pero si un sistema crítico afecta a personas, derechos, continuidad, reputación o cumplimiento, y entra en zona de riesgo, debe verse de forma específica. El promedio puede tranquilizar. El caso crítico puede decidir.

Gobernar la IA exige una regla anti-promedios.

6. Magnifica Humanitas y el RIA: dos planos distintos, una convergencia relevante

Existe una concordancia importante entre Magnifica Humanitas y el Reglamento Europeo de Inteligencia Artificial, aunque ambos se sitúan en planos distintos.

El RIA no es una encíclica laica. Y la encíclica no es un comentario jurídico ni una derivación del RIA.

El Reglamento trabaja con categorías jurídicas: prácticas prohibidas, sistemas de alto riesgo, obligaciones de proveedores y desplegadores, transparencia, documentación, gestión de riesgos, gobernanza de datos, supervisión humana y vigilancia postcomercialización.

La encíclica trabaja con categorías morales y sociales: dignidad, bien común, verdad, trabajo, libertad, poder, sabiduría, responsabilidad y desarrollo humano integral.

No son planos equivalentes. Pero propongo leerlos como convergentes en un punto de fondo: la inteligencia artificial no puede quedar entregada a la pura lógica de capacidad técnica, eficiencia económica o adopción acelerada.

El RIA adopta un enfoque basado en el riesgo. No trata todos los sistemas de IA del mismo modo. Distingue niveles, usos y obligaciones. Lo relevante no es solo la tecnología en abstracto, sino su finalidad, contexto e impacto. La Comisión Europea presenta el AI Act como un marco jurídico integral para una IA confiable, basado en reglas por niveles de riesgo y orientado a proteger la seguridad, los derechos fundamentales y una IA centrada en la persona. (Comisión Europea, AI Act | Shaping Europe’s digital future)

La encíclica, desde otro lenguaje, plantea una exigencia similar: no basta con admirar la capacidad de la técnica; hay que discernir si sirve verdaderamente a la persona o si la somete a nuevas lógicas de dominio, exclusión o dependencia. (Magnifica Humanitas, nn. 4-5 y 92-107)

En este sentido, Magnifica Humanitas apunta también a una necesidad más amplia: la IA no puede quedar sometida únicamente a la autorregulación técnica, a los incentivos del mercado o a la competencia geopolítica. Requiere vigilancia moral, política y social. El RIA es un antecedente relevante en esa dirección, aunque el debate de fondo no se agota en la norma. La construcción de una IA verdaderamente confiable exigirá seguir articulando regulación, responsabilidad institucional y gobierno efectivo. (Magnifica Humanitas, nn. 4-5, 92-95 y 102-107)

Para el gobierno corporativo, la conclusión práctica es clara: cumplir el RIA será necesario, pero no suficiente.

La empresa no solo tendrá que preguntarse si un sistema de IA es lícito. Tendrá que preguntarse si está bien gobernado.

Esta diferencia es importante.

Puede haber organizaciones que entiendan el RIA como un ejercicio de cumplimiento documental. Inventarios, políticas, evaluaciones, procedimientos, cláusulas, formularios. Todo eso será necesario. Pero si se queda ahí, el cumplimiento puede convertirse en una nueva forma de formalismo.

El buen gobierno exige algo más. Exige que la organización pueda responder, con naturalidad y evidencia, a preguntas que no son solo jurídicas:

¿Dónde estamos utilizando IA de forma relevante?

¿Qué decisiones o recomendaciones produce?

¿Qué personas pueden verse afectadas?

¿Qué datos alimentan el sistema?

¿Qué proveedor interviene y con qué dependencia?

¿Qué controles existen antes, durante y después del uso?

¿Qué errores son tolerables y cuáles no?

¿Qué sesgos se han revisado?

¿Qué ocurre si el sistema falla?

¿Quién puede detenerlo?

¿Quién debe informar?

¿Cuándo debe elevarse al comité de dirección o al órgano de administración?

Ahí es donde la convergencia entre la encíclica y el RIA se vuelve especialmente fecunda.

El Reglamento aporta estructura jurídica. La encíclica recuerda el criterio de fondo: la persona no puede quedar reducida a perfil, dato, rendimiento o variable de optimización.

7. Supervisión no es gestión

Una lectura precipitada podría llevar a una conclusión equivocada: si la IA es tan relevante, el órgano de administración debe entrar en todo.

No es así.

El órgano de administración no está para decidir qué modelo se usa en cada proceso, qué herramienta concreta se contrata, cómo se configura un sistema, qué arquitectura técnica se adopta o qué parámetros se ajustan. Eso corresponde a la dirección y a los equipos especializados.

Pero supervisión no es indiferencia.

El órgano debe asegurarse de que la compañía cuenta con un marco razonable de gobierno de la IA, proporcionado a su tamaño, actividad, sector, exposición y nivel de uso. Debe entender cómo la IA afecta a estrategia, riesgos, personas, cumplimiento, reputación, continuidad, datos y terceros críticos.

La frontera entre gestión y supervisión es aquí esencial.

La dirección implanta. El órgano supervisa.

La dirección selecciona herramientas. El órgano exige criterios.

La dirección opera controles. El órgano pide evidencia de que existen y funcionan.

La dirección gestiona incidentes. El órgano debe conocer los materiales y seguir su respuesta.

La dirección negocia con proveedores. El órgano debe entender dependencias críticas.

La dirección mide. El órgano debe asegurarse de que las métricas relevantes no ocultan lo importante.

Este último punto merece atención. Muchos sistemas de reporting tecnológico fallan no porque falte información, sino porque sobra información mal jerarquizada. El órgano recibe datos, pero no criterio. Indicadores, pero no interpretación. Consolidados, pero no visibilidad sobre activos, unidades o procesos críticos.

En IA, esto puede agravarse. Una compañía puede presentar un alto porcentaje de usos “sin incidencias” y ocultar, dentro del conjunto, un sistema crítico con desviaciones significativas. Puede informar de adopción, productividad o ahorro, sin mostrar pérdida de capacidad interna, dependencia de proveedor o concentración de decisiones automatizadas en áreas sensibles.

Por eso el reporting al órgano de administración debe ser selectivo, ejecutivo y verificable.

No se trata de informar de todo. Se trata de que lo material no quede oculto.

8. Trabajo: eficiencia hoy, capacidades mañana

Uno de los terrenos donde la encíclica resulta más exigente es el trabajo. (Magnifica Humanitas, nn. 148-150 y 169)

La IA se presenta muchas veces como una promesa de productividad. Y lo es. Puede liberar tareas repetitivas, mejorar análisis, acelerar procesos, reducir errores, ampliar capacidades y permitir que muchas personas trabajen mejor.

Pero sería ingenuo detenerse ahí.

La automatización también puede sustituir tareas, comprimir funciones, desplazar perfiles, reducir aprendizaje, alterar carreras profesionales y aumentar la distancia entre quienes tienen capacidad de adaptación y quienes quedan rezagados.

Para el órgano de administración, esto no es solo un asunto de recursos humanos. Es continuidad de capacidades.

Muchas profesiones y muchas organizaciones se construyen sobre una cadena de aprendizaje: tareas iniciales, exposición progresiva, revisión por perfiles senior, adquisición de criterio y maduración profesional. Si la IA absorbe masivamente las tareas de entrada, puede ocurrir algo paradójico: la organización gana eficiencia a corto plazo y deteriora su cantera de talento a medio plazo.

Esta me parece una de las cuestiones menos atendidas en el debate empresarial sobre IA: no solo qué tareas se sustituyen, sino qué aprendizaje deja de producirse cuando se sustituyen demasiado pronto.

Ello me lleva a considerar que la continuidad de capacidades debería ser un elemento relevante a la hora de calibrar y establecer el apetito de riesgo tecnológico. Una compañía puede aceptar cierto grado de automatización, dependencia de proveedor o sustitución de tareas. Pero debe preguntarse hasta qué punto está dispuesta a asumir la pérdida de aprendizaje interno, criterio profesional, capacidad de revisión y talento futuro que esa automatización puede generar. No todo riesgo tecnológico se mide en caída de sistemas, incidentes de ciberseguridad o incumplimiento normativo. A veces el riesgo consiste en dejar de formar a quienes mañana deberán supervisar, corregir o cuestionar la tecnología.

La pregunta de gobierno no es solo cuánto ahorra la automatización. Es qué capacidades preserva, qué capacidades desplaza y qué capacidades nuevas exige.

Una compañía que automatiza sin estrategia laboral puede encontrarse con una paradoja: menos coste hoy, menos criterio mañana.

La dignidad del trabajo no se protege impidiendo toda transformación tecnológica. Se protege gobernando esa transformación. Con formación, recualificación, rediseño de funciones, transparencia interna, participación proporcional y criterios claros sobre qué tareas deben automatizarse, cuáles deben mantenerse y cuáles deben rediseñarse.

La IA puede ayudar a trabajar mejor. Pero si se incorpora solo como mecanismo de sustitución silenciosa, sin reflexión sobre capacidades humanas, aprendizaje y cohesión interna, puede deteriorar el tejido organizativo que precisamente sostiene la calidad de decisión futura.

En términos de gobierno, la pregunta debería ser sencilla:

¿Estamos usando IA para fortalecer la capacidad humana de la organización o para adelgazar su responsabilidad sobre las personas?

9. Verdad: datos, reporting y confianza

La encíclica dedica una atención significativa a la verdad como bien común. Esta idea, trasladada a la empresa, tiene más alcance del que parece. (Magnifica Humanitas, nn. 132-137)

La verdad no es solo una cuestión de comunicación pública o de lucha contra la desinformación. Es también una condición de buen gobierno interno.

Un órgano de administración decide sobre lo que ve. Y ve a través de información. Si la información es incompleta, sesgada, excesivamente agregada, opaca o difícil de verificar, la calidad de la decisión se deteriora.

La IA puede mejorar el reporting. Pero también puede hacerlo más opaco.

Puede resumir grandes volúmenes de datos, detectar tendencias, anticipar riesgos y generar informes ejecutivos. Pero también puede producir respuestas plausibles con fundamento débil, ocultar supuestos, simplificar en exceso o dar apariencia de certeza a inferencias discutibles.

Aquí aparece otro riesgo silencioso: el reporting que parece más inteligente, pero no necesariamente más verdadero.

Para un órgano de administración o comité, la pregunta no debe limitarse a si la herramienta genera informes útiles. Debe incluir otras cuestiones:

¿De dónde salen los datos?

¿Qué calidad tienen?

¿Qué se ha excluido?

¿Qué hipótesis utiliza el sistema?

¿Qué grado de incertidumbre existe?

¿Qué parte del resultado es dato, qué parte es inferencia y qué parte es recomendación?

¿Puede verificarse?

¿Puede explicarse?

¿Puede impugnarse?

La verdad corporativa no puede descansar en una caja negra.

Esto es especialmente relevante cuando la IA se utiliza para elaborar información sobre riesgos, cumplimiento, sostenibilidad, desempeño, clientes, empleados, operaciones, fraude, mercado o reputación. En esos ámbitos, una mala inferencia no es solo un error técnico. Puede convertirse en una mala decisión de gobierno.

La IA puede ayudar a decidir. Pero no debe convertirse en una fuente de autoridad incuestionable.

En gobierno corporativo, la verdad exige trazabilidad.

10. Libertad: dependencia, perfilado y poder

La encíclica también pone el acento en la libertad frente a nuevas formas de dependencia, manipulación y control. Esta dimensión tiene una lectura empresarial evidente. (Magnifica Humanitas, nn. 170-172)

La IA no solo automatiza procesos. También puede orientar comportamientos.

Puede personalizar ofertas, ordenar contenidos, jerarquizar oportunidades, modular precios, perfilar vulnerabilidades, anticipar reacciones, medir productividad, evaluar conducta y condicionar decisiones. Algunas de estas capacidades pueden ser legítimas y útiles. Otras pueden entrar en zonas delicadas desde el punto de vista ético, jurídico (Reglamento (UE) 2024/1689, arts. 5, 6 y Anexo III, y 50) y reputacional.

El problema no está solo en el uso abusivo. Está también en la normalización gradual de formas de influencia que dejan de ser visibles.

Cuando una empresa conoce cada vez más al cliente, al empleado o al usuario, la pregunta no es solo qué puede hacer con esa información. Es qué debe abstenerse de hacer, aunque técnicamente pueda hacerlo.

La libertad se erosiona muchas veces sin grandes declaraciones. Se erosiona cuando una persona ya no sabe si está eligiendo o siendo dirigida. Cuando no entiende por qué recibe una oferta, una exclusión, una evaluación o una recomendación. Cuando no puede revisar, corregir o impugnar el resultado.

Para las empresas, este punto será cada vez más relevante.

No todo lo que aumenta conversión fortalece confianza.

No todo lo que personaliza mejora la relación.

No todo lo que predice debe utilizarse.

No todo lo que retiene al usuario respeta su libertad.

En IA, los conflictos reputacionales muchas veces no nacerán de una infracción clara, sino de una percepción: la sensación de que la empresa sabía demasiado, influyó demasiado, explicó demasiado poco o hizo depender una decisión relevante de un sistema que nadie podía cuestionar.

La confianza se pierde cuando la persona se siente convertida en objeto de cálculo.

Por eso, la libertad debe entrar en el gobierno de la IA no como abstracción filosófica, sino como criterio operativo: transparencia suficiente, explicabilidad proporcionada, vías de revisión, límites al perfilado, protección de vulnerables, control de terceros y supervisión humana efectiva.

11. Terceros críticos: el contrato no basta

Hay otro punto donde la encíclica, aunque no utilice el lenguaje de la contratación tecnológica, resulta especialmente aplicable: la concentración de poder digital. (Magnifica Humanitas, nn. 5 y 92-95)

Muchas empresas no desarrollan sus propios sistemas de IA. Los incorporan a través de proveedores, plataformas, soluciones integradas, APIs, herramientas de productividad, servicios cloud o módulos añadidos a software ya utilizado.

Esto crea una dependencia que no siempre se ve con suficiente claridad.

El proveedor no es solo un proveedor cuando sus sistemas condicionan procesos críticos. Puede convertirse en infraestructura de decisión. Y cuando eso ocurre, el punto de control no es el contrato.

El contrato es necesario. Pero no suficiente.

Un contrato puede regular responsabilidades, niveles de servicio, confidencialidad, protección de datos, propiedad intelectual, auditoría, subcontratación, continuidad, seguridad o terminación. Todo eso importa. Pero el gobierno real exige saber algo más:

Qué datos se envían al proveedor.

Dónde se procesan.

Qué subcontratistas intervienen.

Qué ocurre si el servicio cae.

Qué capacidad de migración existe.

Qué dependencia funcional se ha creado.

Qué explicabilidad ofrece el proveedor.

Qué cambios puede introducir unilateralmente.

Qué garantías hay sobre entrenamiento, retención o reutilización de datos.

Qué mecanismos de auditoría son realmente ejercitables.

Qué pasa si el proveedor cambia precios, condiciones, modelo o jurisdicción.

En IA, la dependencia puede crecer de forma silenciosa. Primero se prueba una herramienta. Después se integra en procesos. Más tarde se convierte en hábito. Finalmente, la organización ya no sabe operar igual sin ella.

Cuando llega ese punto, la cuestión deja de ser tecnológica. Es estratégica.

Por eso, los terceros críticos de IA deben formar parte del reporting al órgano de administración cuando afecten a continuidad, datos, clientes, cumplimiento, reputación o capacidad operativa relevante. No para que el órgano negocie contratos, sino para que supervise la dependencia, la sustituibilidad, la exposición y la capacidad de respuesta.

Una vez más: supervisión no es gestión. Pero contrato firmado no equivale a riesgo controlado.

12. El papel del órgano de administración

Llegados aquí, conviene aterrizar.

Después de los planos anteriores —encíclica, RIA, ética, trabajo, verdad, libertad y terceros críticos—, la cuestión puede resumirse en una pregunta operativa: ¿qué debería exigir un órgano de administración, una comisión delegada o un comité de dirección ante la IA?

No una clase técnica. No una promesa genérica. No una política bonita. No un mapa de iniciativas sin jerarquía.

Debería exigir un marco de gobierno comprensible, proporcionado y verificable.

Ese marco debería permitir responder, al menos, a diez preguntas:

¿Qué usos de IA existen actualmente en la organización?

¿Cuáles son materiales por impacto en personas, derechos, continuidad, cumplimiento, reputación, datos o estrategia?

¿Qué usos pueden estar sujetos al RIA o a normativa sectorial específica?

¿Quién es responsable interno de cada uso relevante?

¿Qué proveedores o terceros críticos intervienen?

¿Qué datos alimentan los sistemas y con qué calidad?

¿Qué controles existen sobre sesgo, privacidad, ciberseguridad, explicabilidad y supervisión humana?

¿Qué métricas permiten conocer funcionamiento, desviaciones e incidentes?

¿Qué umbrales determinan elevación a dirección, comité u órgano de administración?

¿Qué usos no se aceptan, aunque sean técnicamente posibles?

La última pregunta es especialmente importante.

El gobierno no consiste solo en aprobar lo permitido. También consiste en establecer límites. Un apetito de riesgo tecnológico sin límites explícitos es una declaración incompleta. Y un apetito de riesgo que solo mida cumplimiento, coste, productividad o continuidad técnica, pero no opacidad, dependencia, pérdida de capacidades o afectación a personas, puede dejar fuera parte del riesgo real.

Hay usos de IA que una compañía puede decidir no realizar. Por razones jurídicas, reputacionales, éticas, estratégicas o simplemente prudenciales. Y esa decisión, cuando afecta al modelo de negocio o a riesgos materiales, no debería quedar dispersa en decisiones técnicas, comerciales o funcionales.

Debe formar parte del criterio de gobierno.

13. Gobernar antes de automatizar

La IA puede ser una ayuda extraordinaria. Puede mejorar diagnósticos, acelerar procesos, ampliar capacidades, reducir errores, detectar riesgos y liberar tiempo humano para tareas de mayor valor.

Pero no exonera a nadie de decidir.

Al contrario. Hace más exigente la responsabilidad de quienes aprueban estrategias, asignan recursos, aceptan riesgos y supervisan consecuencias.

La gran aportación de Magnifica Humanitas al debate empresarial no está en ofrecer instrucciones técnicas. Está en recordar que el progreso no puede medirse solo por potencia, velocidad, eficiencia o rentabilidad. Debe medirse también por su capacidad de hacer más humana la vida común.

Esta idea debería interpelar directamente al gobierno corporativo.

Una empresa puede automatizar sin gobernar. Puede adoptar IA sin entender sus dependencias. Puede aprobar principios sin evidencias. Puede cumplir formalmente sin controlar materialmente. Puede informar al órgano de administración sin darle verdadera visibilidad.

Ese es el riesgo.

El reto es otro: construir una disciplina de gobierno que convierta la dignidad humana en criterio operativo de supervisión tecnológica.

No como retórica. Como método.

Inventario. Criticidad. Responsables. Métricas. Evidencias. Controles. Trazabilidad. Terceros críticos. Supervisión humana. Umbrales de elevación. Límites.

Babel no se construye de golpe. Se construye cada vez que el poder crece sin responsabilidad, cada vez que la eficiencia desplaza el juicio, cada vez que la persona se convierte en dato, cada vez que la técnica decide antes de que alguien haya pensado suficientemente sobre los límites.

Nehemías tampoco reconstruye de golpe. Reconstruye pieza por pieza. Con método. Con responsabilidad compartida. Con conciencia del daño. Con visión de conjunto. Con cada uno asumiendo su rol, su tramo de muralla.

Esa imagen sirve también para la empresa.

Gobernar la IA no exige detener la innovación. Exige darle forma. Exige que el órgano de administración no gestione la tecnología, pero tampoco permanezca ciego ante sus riesgos materiales. Exige que la dirección no se limite a desplegar herramientas, sino que construya evidencia, responsables, métricas, controles y umbrales. Exige que la ética no sea una declaración, sino un sistema de responsabilidad.

La IA no elimina la responsabilidad de decidir. La hace más visible.

Y cuando afecta a personas, derechos, trabajo, reputación o continuidad, también la hace más exigente para el órgano de administración.

La IA responsable no empieza cuando una empresa aprueba principios. Empieza cuando puede demostrar cómo los gobierna.