Мовні моделі є «мозком» ШІ-чатботів. Які з них у відповідь на запитання про Україну видають тези, близькі до російських пропагандистських наративів, або мають системні викривлення щодо України, з’ясували Texty.org.ua спільно з OpenBabylon, дослідницькою організацією із Сан-Франциско.
Дослідники сформулювали 2803 запитання про Україну англійською мовою, поставили їх 27 мовним моделям та оцінили їхні відповіді. Так вдалося виявити, які з них найбільш упереджені. Texty.org.ua аналізували моделі різних країн — від американських до китайських, які є у відкритому доступі, тобто ті, які можна безплатно завантажити собі на комп’ютер і досліджувати.
На кожне запитання було сформулювальовано чотири варіанти відповіді від проукраїнської до проросійської. Моделі попросили обрати правильний, на їхню думку, варіант.
NV публікує результати цього дослідження, проведеного Texty.org.ua спільно з OpenBabylon, на правах інформаційної співпраці.
Автори: Євген Костюк, Інна Гадзинська, Антон Полішко, Артур Кюльян, Микола Хандога, Наталія Романишин, Сергій Міхальков, Юрій Філіпчук
Чому ми досліджували LLM, а не ШІ-чатботи
У цьому дослідженні ми аналізували мовні моделі (large language models, LLM), а не конкретні ШІ-чатботи, як-от ChatGPT, Gemini чи Grok.
Чим вони різняться і чому це важливо?
Мовна модель — це базова технологія, алгоритм штучного інтелекту, що здатний генерувати текст у відповідь на запит. Такі моделі лежать в основі чатботів, по суті, це їхній мозок. Тоді як ШІ-чатбот — це застосунок або інтерфейс, що використовує таку модель, але також має додаткові обмеження, фільтри, інструкції, поведінкові установки та інші налаштування.
Наприклад, чатбот ChatGPT працює на мовних моделях сім’ї GPT від OpenAI. Але сам чатбот може давати інакші відповіді, ніж сама модель, бо OpenAI додала в нього фільтри, правила поведінки, модерацію тощо.
Чатботи здебільшого платні, а їхня внутрішня логіка закрита. У нашому дослідженні ми працювали з відкритими мовними моделями. Це дало змогу:
- оцінити «чисту» упередженість без впливу додаткових фільтрів чи налаштувань;
- порівняти різні моделі від різних компаній в однакових умовах;
- виявити, які саме моделі надають відповіді, близькі до російських пропагандистських наративів, або мають системні викривлення щодо України.
Це важливо, бо мовні моделі використовують не тільки в чатботах. Їх вбудовують у пошукові системи, системи автоматичного перекладу, різні застосунки, інструменти для письма, аналізу інформації, роботи з документами тощо. Тобто від упередженості моделей залежать не лише відповіді в чатботах, а й те, як мільйони людей у всьому світі отримують інформацію про події, країни, суспільства. Якщо модель помиляється системно, вона поширює викривлену картину реальності в безлічі продуктів. Тому ми і вивчали самі мовні моделі: щоб виявити, як глибоко сидять упередження щодо України в сучасних інструментах штучного інтелекту.
Які LLM ми аналізували
Ми проаналізували 27 відкритих (тобто з безплатним доступом) мовних моделей, що охоплюють спектр від відносно компактних (3 мільярди параметрів) до доволі потужних (30 мільярдів параметрів).
Обрали 10 тематичних напрямів, що розкривають різні виміри української реальності: геополітика, соціальні норми, цінності, національна ідентичність, історія, ідеологія, національна безпека, релігія і духовність, державне управління та антикорупційна політика.
До списку увійшли моделі від різних провайдерів, зокрема Microsoft, Google, DeepSeek, Cohere, Alibaba Cloud, Mistral і Meta. Крім того, ми протестували модель MamayLM, створену болгарським інститутом INSAIT із застосуванням додаткового навчання на українській мові та контексті. В її основі модель Gemma від Google.
