El desarrollo de la inteligencia artificial, y en particular de modelos generativos como los chatbots basados en grandes programas de modelos lingüísticos (LLM), ha abierto nuevas oportunidades para el suministro de información. Sin embargo, estas herramientas también plantean riesgos en términos de desinformación, sobre todo en relación con temas políticos delicados como la guerra de Ucrania. Una investigación publicada en agosto en la Revista sobre Desinformación de la Harvard Kennedy School muestra que los chatbots pueden apoyar involuntariamente la propaganda rusa al presentar información falsa o incompleta. Además, la aleatoriedad incorporada a estos modelos significa que sus respuestas pueden ser impredecibles, lo que genera otros desafíos.
El problema de la desinformación en los chatbots
El estudio realizado en 2023 por un equipo de investigadores de la Universidad de Berna y el Instituto Weizenbaum se centró en tres populares chatbots: Google Bard (precursor de Gemini), Bing Chat (ahora Copilot) y Perplexity AI. El experimento planteó a los chatbots 28 preguntas basadas en narrativas rusas de desinformación sobre la guerra en Ucrania. Los resultados revelaron un preocupante abanico de discrepancias en la calidad de las respuestas, con entre un 27% y un 44% de respuestas que no cumplían los estándares de los expertos en términos de precisión objetiva.
Las respuestas incorrectas más comunes se referían a temas como el número de bajas de guerra rusas o las falsas acusaciones de genocidio en el Donbás. Resulta preocupante que los chatbots presentaran a menudo la perspectiva rusa como creíble, sin refutarla adecuadamente. Esta práctica podría conducir a un mayor fortalecimiento de la desinformación.
La aleatoriedad y sus consecuencias
Un aspecto clave del problema es la aleatoriedad intrínseca de los grandes modelos lingüísticos, lo que significa que los chatbots pueden generar respuestas diferentes a la misma pregunta. Por ejemplo, en un caso el modelo negó una falsa acusación de genocidio en Donbás, mientras que en otro indicó que era posible. Tales discrepancias confunden a los usuarios y debilitan la confianza en la tecnología.
El fracaso de los chatbots a la hora de refutar falsas narrativas se debe en parte a las fuentes difíciles de controlar en las que se basan los modelos. Por ejemplo, incluso cuando un chatbot menciona fuentes confiables, puede extraer de ellos pasajes que mencionen la desinformación rusa sin tener en cuenta el contexto de su refutación. Como resultado, ese contenido puede interpretarse como verídico.
En el estudio citado, el mayor nivel de concordancia lo alcanzó Google Bard (73%). En segundo lugar, se situó el chatbot Perplexity, que logró un 64% de concordancia, mientras que la puntuación más baja la registró Bing Chat, cuyas respuestas sólo coincidieron plenamente en un 56% con las proporcionadas por los expertos.
Los autores creen que las plataformas que integran chatbots deben tomar medidas para reducir el riesgo de difundir información errónea. El desarrollo de mecanismos de protección (los llamados guardrails) puede minimizar los casos de generación de información falsa. Tales mecanismos incluyen, entre otros, la reducción de la aleatoriedad de los modelos a la hora de generar respuestas a temas delicados y el uso de clasificadores especiales para filtrar los contenidos desinformativos.
Los investigadores también destacan que, a pesar de las limitaciones demostradas, los chatbots tienen potencial para combatir la desinformación. Pueden utilizarse para verificar hechos automáticamente, generar contenidos educativos sobre la desinformación y servir de apoyo a periodistas y organizaciones de verificación de datos.
