Major incident

Mindbox: Недоступность административной панели и сервисов Mindbox

Affected: Javascript API, Расчёт скидок, Административная панель, Высокоприоритетные сценарии, Передача данных для клиентских интерфейсов, Синхронное сохранение заказов, Отправка массовых рассылок, Отображение виджетов, Операции персонализации

Current status of Mindbox: Operational — live Mindbox status

Timeline

1. May 6, 2026, 12:24 UTC
   investigating
   С 14:45 (мск) наблюдается недоступность административной панели и сервисов Mindbox для части клиентов. Инцидент находится в работе у дежурной команды, вернемся со статусом в течение часа.
2. May 6, 2026, 12:44 UTC
   identified
   - Дежурная команда определила причину недоступности: Недоступность связана с нештатным удалением одного из инфраструктурных компонентов - Сейчас дежурная команда проверяет исправление на тестовом окружении перед внедрением на основное окружение. - Вернемся со статусом через 30 минут.
3. May 6, 2026, 13:06 UTC
   identified
   - Дежурная команда проверила исправление на тестовом окружении. - Приступили к внедрению исправления на основное окружение. - Ориентировочное время восстановления - 30 минут.
4. May 6, 2026, 14:00 UTC
   monitoring
   - Дежурная команда восстановила работоспособность 25% сервисов. - Ориентировочное время восстановления всех сервисов - 60 минут. - Вернемся с апдейтом в течение 30 минут.
5. May 6, 2026, 14:32 UTC
   monitoring
   - Работоспособность API и лояльности восстановлена. - Работоспособность панели управления будет восстановлена в течение 60 минут.
6. May 6, 2026, 15:56 UTC
   monitoring
   - Дежурная команда восстановила работоспособность API, административной панели и всех сервисов. - Наблюдается задержка в отправке рассылок у 0,3% клиентов.
7. May 6, 2026, 15:57 UTC
   resolved
   This incident has been resolved.
8. May 15, 2026, 15:02 UTC
   postmortem
   6 мая 2026 года с 14:55 до 17:32 \(мск\) у 78% клиентов наблюдалась полная недоступность сервисов Mindbox. С 17:32 до 18:57 нарушения по рассылкам сохранялись у 0,3% клиентов. **Корневая причина — из за сочетания человеческой ошибки и временно полученных повышенных прав, инженер эксплуатации выполнил деструктивную команду на боевом окружении вместо локального. В результате на одном из боевых окружений была удалена система непрерывного деплоя. Это повлекло за собой каскадное удаление компонентов маршрутизации и полную потерю связности сервисов.** ## Влияние на клиента В период с 14:55 до 17:32 у пострадавших клиентов не работали: * Процессинг заказов и расчет скидок * API и клиентские интерфейсы * Административная панель * Отправка Email и SMS * Мобильные пуши и персонализация * Сценарии и рекомендации по API С 17:32 до 18:57 у 0,3% клиентов сохранялись нарушения SLA по рассылкам. ## Как выявляли и устраняли инцидент * **14:53** — начало деструктивного действия, пошёл рост отказов * **14:55** — система мониторинга зафиксировала недоступность, дежурная команда получила оповещение * **15:00** — команда приступила к диагностике * **15:05** — установлена причина: нештатное удаление системы непрерывной поставки \(Flux CD\) * **16:20** — Flux CD восстановлен * **17:20** — все удалённые компоненты восстановлены, API работает * **17:25** — начато восстановление сервисов для оставшихся 0,3% клиентов * **18:57** — работоспособность полностью восстановлена ‌ ## **Отчёт** **Подробнее о причине сбоя** Инцидент произошёл в ходе плановых работ. Инженер эксплуатации получил повышенные права для выполнения санкционированных изменений в боевом окружении, выполнил их, затем переключился на следующую задачу в локальном окружении. Из за особенностей системы контроля прав, повышенные права сохранились за инженером на следующие 24 часа. Во время работы над локальной задачей контекст подключения был ошибочно переключен на production-кластер Kubernetes, это не было своевременно замечено. В результате в боевом окружении была выполнена деструктивная операция. Что привело к каскадному удалению критических инфраструктурных компонентов платформы, включая компоненты маршрутизации трафика. Это, в свою очередь, вызвало удаление связанных DNS-записей и потерю сетевой связности между сервисами платформы. По этой причине недоступными оказались не только клиентские сервисы, но и часть внешнего SLA-мониторинга. В процессе восстановления дополнительно была выявлена и устранена отдельная проблема в одном из вспомогательных компонентов платформы, которая влияла на стабильность системы хранения секретов. ‌ ## **Что улучшим** ### **До конца Q2 2026:** * Запретим удаление критических компонентов кластера * Детализируем систему повышения прав: * Увеличим права read-only роли для просмотра компонентов. Обнаружили, что в ряде задач этой роли не хватает и права повышаются до администраторских. * Разделим административную роль: появится «pre-admin» без права удаления ресурсов в Kubernetes ### **До конца Q3 2026:** * Введем дополнительную роль «full-admin» с правом удаления, но с ограниченным сроком действия повышенных прав - 1 час и только на конкретный кластер.

Updates as published by Mindbox (original).