Компанії Google та Amazon незалежно одна від одної представили нові інструменти для розробників штучного інтелекту, які дозволяють запускати моделі на власних чипах компаній замість традиційних графічних процесорів Nvidia. У понеділок Amazon анонсувала інструмент TorchNeuron для своїх процесорів Trainium, а у вівторок Google випустила відкритий проєкт TorchTPU для фірмових чипів TPU.
Обидва інструменти створені на основі PyTorch — популярного відкрите програмного забезпечення, яке використовується приблизно у 85% сучасних додатків зі штучним інтелектом. Досі більшість таких програм створювалися з розрахунку на апаратне забезпечення та екосистему Nvidia за замовчуванням. Нові рішення дозволяють розробникам переносити існуючі додатки на альтернативні платформи за допомогою простих змін конфігурації без переписування коду.
Amazon також оголосила про намір подати зміни до основного проєкту PyTorch, щоб усунути залежність фреймворку від чіпів одного виробника та зробити його більш універсальним. Своєю чергою, Google повідомила про співпрацю з Meta, Hugging Face та розробниками інструментів vLLM і SGLang для забезпечення повної сумісності TorchTPU. Окрім цього, пошуковий гігант запустив спеціальний пакет інструментів TPU agent та оновив платформу LiteRT для роботи на мобільних пристроях.
Представники AWS зазначають, що використання єдиної платформи для тренування моделей та інференсу дозволить стартапам економити кошти. Наприклад, сервіс голосового штучного інтелекту Deepgram вже перейшов на чіпи Trainium і зміг обробляти на 70% більше аудіо на один долар при збереженні високої точності.
Попри появу простих способів міграції на альтернативні хмари та чипи, аналітики зауважують, що розробники не масово відмовлятимуться від обладнання Nvidia за один день. Проте зусилля Google та Amazon спрямовані на те, щоб позбавити ринок монопольного впливу та дати творцям програмного забезпечення справжній вибір апаратної інфраструктури.
Джерела: techcrunch.com
