Мінцифра запустила перший рейтинг ШІ, який розуміє українську

Ukrainian LLM Leaderboard — це новий інструмент, який дозволяє порівнювати штучний інтелект за результатами реальних тестів, а не маркетингових презентацій. Ініціатори проєкту наголошують: раніше розробники часто обирали моделі, покладаючись на заяви великих технологічних компаній, а тепер матимуть змогу спиратися на об'єктивні дані.

Проблема більшості глобальних бенчмарків у тому, що вони орієнтовані на англійську мову. Українська в них представлена значно слабше, а окремі завдання часто перекладаються. Такий підхід не показує повної картини: модель може бездоганно працювати англійською, але з українською припускатися російських кальок, помилок у відмінках, неприродних конструкцій чи фактичних неточностей. Для звичайного користувача це може бути лише незручністю, але в державних сервісах, банках, бізнесі чи освітніх продуктах помилка ШІ здатна мати серйозніші наслідки.

Тестування охоплює завдання, наближені до реального використання штучного інтелекту: переклад і переказ текстів, стислий виклад великих масивів інформації, пошук відповідей у документах, розв'язання логічних і математичних задач, роботу зі складними інструкціями, а також проходження тестів рівня шкільної програми та ЗНО. Таким чином, рейтинг оцінює не лише грамотність моделі, а й її здатність використовувати мову для практичних завдань.

Ключова особливість проєкту — відкритість. Результати тестування, код та дані опубліковані на платформі Hugging Face, тож користувачі можуть ознайомитися з методологією оцінювання. Як зазначив аспірант УКУ та керівник розробки мовної моделі Lapa Юрій Панів, завданням було з'ясувати, наскільки добре сучасні великі мовні моделі працюють з українською, визначити їхні сильні та слабкі сторони. Лідерборд має допомогти бізнесу обирати моделі для конкретних завдань, а дослідникам — отримати спільну систему координат для подальшої роботи.

Методологію розробили експерти Українського католицького університету та спільноти lang-uk — Юрій Панів і Дмитро Чаплінський. Команда працює з українською мовою та технологіями обробки природної мови понад десять років, створюючи масиви українських текстів та інструменти для навчання мовних моделей. Підходи, використані в рейтингу, раніше застосовували під час розробки української мовної моделі Lapa LLM.

Ukrainian LLM Leaderboard може стати інструментом вибору моделей для цифрових сервісів у державному секторі. Бізнес зможе порівнювати якість різних моделей перед інтеграцією у власні продукти. Це особливо актуально на тлі швидкого поширення генеративного ШІ, який уже використовують у фінансових сервісах, державних продуктах, пошуку інформації та підтримці клієнтів. У цих випадках важливо не просто отримати відповідь, а переконатися, що модель правильно зрозуміла український контекст.

Команда планує розширювати рейтинг, додавши нові категорії оцінювання: роботу із зображеннями, етичність моделей та вартість використання ШІ українською. Окрему увагу приділять державному сектору — моделі тестуватимуть на завданнях, пов'язаних з адміністративними процедурами та нормативними документами, а також оцінюватимуть безпечність роботи з персональними даними. Це може перетворити український лідерборд із простої таблиці порівняння на окремий стандарт оцінювання ШІ для українського ринку.