En una entrevista concedida a los medios de comunicación vaticanos, Walter Quattrociocchi, catedrático de Informática en la Universidad La Sapienza de Roma, califica la primera encíclica del Papa León como «muy lúcida» y capaz de llevar el debate sobre la IA a «un plano mucho más maduro». El experto advierte sobre una sociedad que sustituye «la verificación por la plausibilidad percibida» y delega el juicio a las máquinas.
Fabio Colagrande – Ciudad del Vaticano
“(…) las denominadas inteligencias artificiales no viven una experiencia, no poseen un cuerpo, no pasan por la alegría y el dolor, no maduran en las relaciones (…)”. Estas palabras del Papa León XIV, recogidas en el número 99 de la «Magnifica humanitas», constituyen, según Walter Quattrociocchi, uno de los puntos más significativos de la primera encíclica dedicada a la inteligencia artificial. En una entrevista concedida a los medios de comunicación vaticanos, el catedrático de Informática de la Universidad La Sapienza de Roma y director del Center of Data Science and Complexity for Society destaca cómo el documento pontificio contribuye a llevar el debate público a un plano más profundo.
Más alládel debate entre el entusiasmo y el miedo
Según Quattrociocchi, la encíclica «desplaza el centro del debate, que oscila entre el entusiasmo ingenuo y el catastrofismo», al abordar la cuestión desde una perspectiva metodológica y epistémica, es decir, invitando a reflexionar sobre qué es el conocimiento, cómo se forma y cuáles son sus límites. El punto decisivo, observa, no es establecer si las máquinas piensan o no, sino comprender «en qué medida estas tecnologías están transformando las condiciones y los criterios a través de los cuales una sociedad construye el conocimiento, el juicio y la verdad, así como las relaciones». En su opinión, el texto de León XIV es particularmente lúcido al reconocer que el desafío no es solo técnico o antropológico, sino que afecta al proceso mismo del aprendizaje. «Hoy en día —explica— la plausibilidad lingüística, aquella que optimizan los grandes modelos de lenguaje, se interconecta y se vuelve casi indivisible de la responsabilidad del juicio humano».
La simulación del juicio
De hecho, uno de los malentendidos más comunes consiste en confundir la calidad del resultado de un chatbot con la naturaleza del proceso que lo genera. «Vemos el lenguaje y nos inclinamos inmediatamente a pensar que ha sido producido por algo que razona de manera análoga a nosotros, pero esto no es cierto en absoluto». Los modelos lingüísticos, explica, producen textos coherentes y convincentes a través de correlaciones estadísticas, sin tener experiencia del mundo ni capacidad para verificar la información. Remitiéndose a una investigación de su grupo de trabajo, titulada «La simulación del juicio», Quattrociocchi afirma que, para tareas complejas, estos sistemas no son capaces de producir valoraciones realmente fiables. «No tenemos un juicio, sino una simulación del juicio; no tenemos una interacción, sino una simulación de la interacción». La diferencia es sustancial: el ser humano opera en un contexto normativo, sabe reconocer el error y cuestionarse sus propias decisiones; los modelos lingüísticos, en cambio, se mueven en el ámbito de la «mera aproximación estadística de las palabras».
Cuando la plausibilidad sustituye a la verificación
Para el profesor e investigador de La Sapienza, el principal riesgo no es tanto la alucinación del algoritmo, sino su invisibilidad. «El riesgo, más que cuando surge el error de la máquina, es cuando no surge». «El punto crítico —explica— es una sociedad que sustituye progresivamente la verificación por la plausibilidad percibida». Si tradicionalmente el conocimiento nace de la comparación de fuentes y de la verificación de hipótesis, los sistemas generativos tienden a comprimirlo todo en un resultado ya empaquetado y lingüísticamente creíble. En el ámbito de la información, este fenómeno se entrelaza con las dinámicas de la economía de la atención. Las redes sociales, observa Quattrociocchi, premian lo que capta la atención más que lo que informa. En este contexto, los Large Language Models «rebajan e industrializan esta producción de contenido capaz de persuadir al usuario» y, aunque no están diseñados para manipular, «consiguen manipular muy bien».
Transparencia, responsabilidad y nuevos «sesgos»
Al comentar la observación del Papa de que las inteligencias artificiales sean, de hecho, «cultivadas» y no «construidas», y por lo tanto crezcan de forma autónoma, Quattrociocchi destaca que estos sistemas son «lo más alejado del concepto de normativo que pueda existir». Por eso considera engañoso interpretarlos a través de categorías que los asimilan al ser humano. El enfoque ético que invoca la transparencia de la IA resulta, por tanto, insuficiente, ya que, explica, no basta con abrir el código o publicar los datos de entrenamiento. «El problema es comprender cómo llega el sistema a una respuesta, qué señal utiliza y, sobre todo, qué atajo incorpora».
Especialmente preocupante es, además, el efecto sobre los procesos cognitivos y culturales. «Ha aumentado de forma impresionante el número de personas que hablan de temas que desconocen y caen precisamente víctimas de la enfermedad del conocimiento cierto, es decir, de la epistemia» (término acuñado por un grupo de investigadores liderado por Quattrociocchi para describir la cómoda ilusión de poseer un conocimiento cierto y verificado). Muchos usuarios —señala el investigador— delegan por tanto íntegramente a los modelos lingüísticos la producción de contenidos sin poseer las herramientas necesarias para verificarlos. El resultado es la introducción en el espacio público de información «perfectamente empaquetada, pero que de hecho está vacía y no resiste el razonamiento». Una dinámica que, según Quattrociocchi, corre el riesgo de hacer cada vez más difícil distinguir entre saber y no saber.
Un debate más maduro
En sus conclusiones, el profesor de Informática valora positivamente la contribución de la encíclica al debate actual. La Magnifica humanitas, afirma, «aporta una visión muy lúcida y mucho menos sujeta a infantilismos e ingenuidades que surgen del escaso conocimiento del tema», situando el debate en un terreno más maduro. El deseo final se refiere a una reflexión, cada vez más necesaria, sobre la pregunta que —según Quattrociocchi— recorre todo el documento del Papa León XIV: «¿Qué implica para nuestra sociedad delegar en máquinas que simulan la interacción y simulan el juicio, sin saber qué es la relación y qué es el juicio?».
Fuente: Vatican News
source