Компанія Nvidia об’єднала зусилля з Індійським інститутом технологій в Мадрасі (IIT Madras) та його дослідницькою лабораторією AI4Bharat для створення масштабного ресурсу Nemotron-pretraining-Indic-v1. Новий відкритий корпус даних охоплює приблизно 2,8 трильйона токенів для 22 офіційних мов Індії, якими користується близько 1,2 мільярда людей. Одночасно партнери готують до релізу GPU-прискорений конвеєр генерації даних, за допомогою якого створювався цей масив.
Розробники зазначають, що технології для індійських мов тривалий час відставали від англомовних через дефіцит якісних навчальних даних. Щоб розв’язати цю проблему, новий проєкт поєднує ретельно відібраний контент англійською мовою — зокрема з математики, програмування та поширених запитань — із перекладами та адаптаціями. Це дозволить майбутнім мовним моделям краще пояснювати технічні концепції та опрацьовувати складні завдання.
Створений масив даних охоплює 34 мовно-скриптові конфігурації. Він містить інформацію як у рідній писемності для всіх 22 мов, так і в латинізованому вигляді (романізацію) для дванадцяти з них. Робочий процес охоплює переклад на рівні документів, оцінку якості та цільове відновлення тексту, зберігаючи при цьому формули, таблиці й фрагменти коду.
Автори проєкту наголошують на важкості прозорості у дослідженні штучного інтелекту. Кожен запис у корпусі має чітке походження, що дозволяє розробникам відстежувати згенерований текст до вихідного документа. Крім того, команда використала частину цього корпусу для продовження попереднього навчання моделі Nemotron 3.5 Super VL, додавши 10 мільярдів індійських токенів.
Немотронівський конвеєр генерації побудований на базі відкритих інструментів Nvidia NeMo Data Designer та моделі Gemma-4-31B-it. Повний набір даних і відкритий рецепт їх створення невдовзі стануть доступними для дослідницької спільноти, надаючи розробникам можливість адаптувати процеси під власні джерела.
Джерела: huggingface.co
