Microsoft оприлюднила попередній звіт щодо масштабного збою в роботі сервісів Microsoft 365 та Exchange, який тривав майже добу — з 12 по 13 листопада. Компанія офіційно підтвердила, що причиною стала суто технічна помилка, яка не пов’язана з кібератаками, хакерами чи проблемами штучного інтелекту.
«Ідеальний шторм» технічних помилок
Збій стався через поєднання трьох факторів, які в компанії назвали «ідеальним штормом». По-перше, ще в липні в хмарний шлюз Microsoft було впроваджено прихований дефект. Він залишався неактивним, поки певні умови не призвели до вичерпання ресурсів процесора та оперативної пам’яті. Ця помилка не була виявлена під час попереднього тестування, оскільки обладнання в лабораторіях було менш потужним, ніж реальні сервери в дата-центрах. Як виявилося, більша кількість ядер на новіших машинах, що використовуються в реальній інфраструктурі, лише прискорювала виникнення критичного стану та блокування запитів.
Другим чинником стало перенаправлення трафіку. За 15 годин до початку інциденту навантаження від Microsoft Teams перенесли на основний шлюз, де працював Exchange Online. Це була стандартна процедура для забезпечення відмовостійкості, проте вона змінила структуру запитів, що призвело до перевантаження. Третьою проблемою стала недостатня потужність інфраструктури: парк серверів шлюзу на той момент працював на 14% нижче оптимальних показників, що позбавило систему необхідного запасу міцності для обробки пікових навантажень.
Ефект снігової кулі та відновлення
Коли почалися робочі години в США, сервери почали «замерзати». Система намагалася автоматично перенаправити запити на резервні вузли, але ті стикалися з тими ж помилками, що створило ефект снігової кулі. У результаті понад 80% шлюзових серверів вийшли з ладу. Механізми регіональної ізоляції, які мали б обмежити масштаб проблеми, не спрацювали, і компанія поки не надала пояснень, чому саме ці системи відмовили.
Відновлення виявилося складнішим, ніж зазвичай. Просте перезавантаження серверів не допомагало: черги запитів миттєво «клали» систему знову, оскільки сервери не встигали обробляти накопичені дані. Інженерам довелося застосовувати цільові патчі для кожного сегмента інфраструктури. Microsoft вже збільшила потужності та впровадила нові запобіжники для розподілу трафіку, щоб уникнути подібних ситуацій у майбутньому. Повний фінальний звіт компанія обіцяє опублікувати 20 листопада — у ньому мають надати додаткові роз’яснення щодо збою систем ізоляції та подальших кроків для запобігання таким інцидентам.
Джерела: arstechnica.com




