Microsoft пояснила причини масштабного збою Microsoft 365
Microsoft назвала приховану помилку, зміну трафіку та дефіцит потужностей причинами масштабного збою Microsoft 365.
Microsoft оприлюднила попередній звіт про масштабний збій у роботі Microsoft 365 та Exchange Online, що тривав із 12 листопада 16:20 UTC до 13 листопада 16:10 UTC. Компанія пов’язала інцидент із поєднанням прихованої помилки в хмарному шлюзі, зміни розподілу трафіку та недостатнього резерву серверних потужностей.
Як повідомляє Ars Technica, Microsoft у звіті зазначила, що інцидент не був пов’язаний ані з кібератакою, ані зі штучним інтелектом чи агентами. Додатковий моніторинг систем тривав до 14 листопада.
Прихована помилка та зміна трафіку
За даними Microsoft, дефект з’явився після оновлення хмарного шлюзу, розгорнутого ще в липні. За певних умов він призводив до вичерпання ресурсів процесора та пам’яті, через що сервери переставали відповідати на запити. Під час попереднього тестування проблему не виявили: тестове обладнання мало меншу потужність, ніж частина серверів у робочому середовищі.
Приблизно за 15 годин до початку збою трафік Teams перевели з резервного шлюзу на основний, який також обслуговував доступ до Exchange Online. Це було штатне перемикання, однак основний шлюз почав обробляти більший обсяг і інший набір запитів. У результаті на уражених серверах накопичувалися черги, а нові підключення не приймалися.
Брак резерву потужностей
Третім чинником стала наявна несправність, через яку серверний парк шлюзів працював із дефіцитом потужностей у 14% від оптимального рівня. За поєднання помилки та зміненого профілю трафіку це спричинило блокування ресурсів. Коли в США почався період пікового ділового навантаження, сервери стали зависати.
Резервні механізми перенаправляли запити з недоступних серверів, але резервні шлюзи зіткнулися з такою самою проблемою. Зрештою зависли понад 80% уражених шлюзових серверів. У попередньому звіті не пояснено, чому механізми регіональної ізоляції не змогли локалізувати збій.
Перезапуск серверів не дав результату, оскільки після відновлення вони одразу отримували накопичені черги запитів. Microsoft поступово встановила виправлення, повернула системи в роботу, додала потужності та запровадила додаткові обмеження для розподілу трафіку. Компанія також продовжила термін доставки електронних листів, щоб відкладені повідомлення не поверталися відправникам як недоставлені. Остаточний звіт Microsoft очікує опублікувати 20 листопада.