Microsoft пояснила глобальний збій Microsoft 365 багом у липневому оновленні
Microsoft назвала липневий програмний баг причиною майже добового глобального збою Microsoft 365 12–13 листопада.
Microsoft заявила, що глобальний збій у роботі Microsoft 365 12–13 листопада спричинив програмний баг, який потрапив до оновлення мережевих шлюзів ще в липні. Інцидент тривав майже 24 години та порушив роботу Outlook, Exchange Online, Teams і Copilot у різних країнах. Користувачі не могли отримати доступ до електронної пошти, а доставка повідомлень суттєво затримувалася.
Поєднання трьох чинників
Як BBC News повідомляє з посиланням на попередній звіт Microsoft, до аварії призвело поєднання прихованої помилки в програмному забезпеченні, зростання трафіку після перемикання Teams на інфраструктуру Exchange Online та зменшення доступних серверних потужностей.
Оновлення з помилкою використовувалося понад три місяці без видимих проблем. За даними Microsoft, баг міг перевантажувати сервери за певних умов трафіку, через що вони переставали відповідати. Компанія зазначила, що тестування не виявило проблему, оскільки в лабораторіях застосовували менш потужне обладнання, ніж у виробничому середовищі.
Приблизно за 15 годин до основного збою Teams автоматично перейшов на мережеву інфраструктуру, яку використовує Exchange Online. Це збільшило навантаження на сервери. Водночас близько 14% потужностей шлюзів уже не працювали через окрему проблему.
Каскадне поширення несправності
Коли сервери почали переставати відповідати, системи Microsoft перенаправляли користувачів на інші доступні вузли. Вони також зазнавали перевантаження та виходили з ладу. За оцінкою компанії, менш ніж за дві години несправність поширилася на всю інфраструктуру, а в найнижчій точці понад 80% серверів мережевих шлюзів не відповідали.
Запобіжники, призначені для стримування проблем між регіонами, не змогли зупинити каскадний збій, через що порушення поширилося у світі. Teams, OneDrive та SharePoint змогли раніше перейти на альтернативну інфраструктуру, натомість Exchange Online такого варіанта не мав.
Microsoft повідомила, що перезапуск уражених серверів спочатку не давав результату: їх швидко перевантажував накопичений трафік. Після виявлення помилки інженери розробили та розгорнули виправлення. Компанія підтвердила завершення активного впливу на клієнтів о 11:10 за східним часом США 13 листопада. Після інциденту Microsoft збільшила потужності, посилила моніторинг і додала захист від подібних сценаріїв перенаправлення трафіку.