Розвиток штучного інтелекту, зокрема генеративних моделей, таких як чат-боти на основі великих мовних моделей (ВММ), відкрив нові можливості для надання інформації. Однак ці інструменти також створюють ризики з точки зору дезінформації, особливо щодо чутливих політичних тем, таких як війна в Україні. Дослідження, опубліковане в серпні в Harvard Kennedy School Misinformation Review, показує, що чат-боти можуть мимоволі підтримувати російську пропаганду, надаючи неправдиву або неповну інформацію. Більше того, вбудована випадковість цих моделей означає, що їхня реакція може бути непередбачуваною, що створює додаткові проблеми.
Проблема дезінформації в чат-ботах
Дослідження, проведене у 2023 році командою дослідників із Бернського університету та Інституту Вайценбаума, зосередилося на трьох популярних чат-ботах: Google Bard (попередник Gemini), Bing Chat (тепер Copilot) і Perplexity AI. У ході експерименту чат-ботам було поставлено 28 запитань, заснованих на російських дезінформаційних наративах про війну в Україні. Результати виявили тривожну низку розбіжностей у якості відповідей: від 27% до 44% відповідей не відповідали експертним стандартам з точки зору фактичної точності.
Найпоширеніші неправильні відповіді стосувалися таких тем, як кількість жертв російської війни або неправдиві звинувачення в геноциді на Донбасі. Викликає занепокоєння те, що чат-боти часто представляли російську точку зору як достовірну, не спростовуючи її належним чином. Така практика може призвести до подальшого посилення дезінформації.
Випадковість та її наслідки
Ключовий аспект проблеми — вбудована випадковість великих мовних моделей, що означає, що чат-боти можуть генерувати різні відповіді на одне й те саме запитання. Наприклад, в одному випадку модель заперечувала неправдиве звинувачення в геноциді на Донбасі, а в іншому — вказувала, що це можливо. Такі розбіжності заплутують користувачів і підривають довіру до технології.
Неспроможність чат-ботів спростовувати неправдиві наративи частково пояснюється тим, що джерела, на яких ґрунтуються моделі, важко контролювати. Наприклад, навіть коли чат-бот цитує достовірні ЗМІ, він може вилучати з них уривки, в яких згадується російська дезінформація, не беручи до уваги контекст її спростування. Як наслідок, такий контент може інтерпретуватися як достовірний. У цитованому дослідженні найвищий рівень узгодженості зі сформованою експертною базою продемонстрував Google Bard (73%). На другому місці опинився чат-бот Perplexity, який досяг 64% згоди, тоді як найнижчий показник зафіксовано у Bing Chat, лише 56% відповідей якого повністю збіглися з відповідями експертів.
Автори вважають, що платформи, які інтегрують чат-ботів, повинні вжити заходів для зниження ризику поширення дезінформації. Розробка захисних механізмів (так званих guardrails) може звести до мінімуму випадки генерації неправдивої інформації. Такі механізми включають, серед іншого, зменшення випадковості моделей при генерації відповідей на чутливі теми та використання спеціальних класифікаторів для фільтрації дезінформаційного контенту. Дослідники також підкреслюють, що, незважаючи на продемонстровані обмеження, чат-боти мають потенціал для боротьби з дезінформацією. Їх можна використовувати для автоматичної перевірки фактів, створення освітнього контенту про дезінформацію, а також для підтримки журналістів та організацій, що займаються перевіркою фактів.
