Компанія OpenAI представила власну систему управління версіями під назвою Pando, розроблену як новий бекенд для репозиторіїв Git. Протягом останнього року масштаби та вимоги до монорепозиторію компанії стрімко зростали через активне використання штучного інтелекту та системи Codex. Це призвело до проблем із продуктивністю, зокрема повільних завантажень і частих збоїв при злитті гілок.
Інженери OpenAI Аарон Фріел, Тейлор Блау та Тед Найман повідомили, що нова система створена з урахуванням двох головних цілей: забезпечення горизонтально масштабованого запису для паралельних відправлень у різні гілки та максимізації пропускної здатності читання. Попри архітектурні зміни, Pando повністю сумісна зі стандартним протоколом і клієнтом Git, що дозволило інженерам та штучному інтелекту безперешкодно продовжити роботу у звичних умовах.
У реальних умовах експлуатації Pando скоротила медіанну затримку при відправленні коду майже у п’ять разів. Наразі система забезпечує передачу майже одного петабайта даних Git щодоби та повністю обслуговує всі процеси розробки в монорепозиторії OpenAI без перерв у роботі команди.
Потреба у новій системі виникла через те, що інструменти на базі Codex дозволили одночасно виконувати значно більше завдань, що призвело до різкого зростання кількості гілок, запитів на злиття та клонування даних для середовищ розробки й систем безперервної інтеграції. Наприкінці минулого року наявна інфраструктура почала відставати від темпів роботи, а її надійність подекуди падала нижче 90%.
Команда розробників зосередилася на тому, щоб зберегти звичний для розробників робочий процес на базі Git, водночас оптимізувавши бекенд. Pando незалежно координує оновлення кожної гілки та повторно використовує пакети даних для багатьох запитів, замість того щоб генерувати індивідуальні файли для кожного клієнта.
Джерела: openai.com
