Major incident

Mindbox: Недоступность части сервисов API для 5% клиентов

Affected: Расчёт скидок, Административная панель, Передача данных для клиентских интерфейсов, Операции персонализации

Current status of Mindbox: Operational — live Mindbox status

Timeline

1. Mar 26, 2026, 07:52 UTC
   investigating
   С 10:52 (мск) наблюдается недоступность части сервисов API для клиентов. Инцидент находится в работе у дежурной команды, вернемся со статусом в течение часа.
2. Mar 26, 2026, 08:44 UTC
   resolved
   С 11:44 (мск) работа сервисов API вернулась в штатный режим. Вернемся с подробным разбором и следующими шагами в течение двух недель.
3. Apr 7, 2026, 14:38 UTC
   postmortem
   26 марта 2026 года, в период с 10:52 до 11:44 \(мск\) для 4% клиентов наблюдалась частичная недоступность сервисов API и полная недоступность настроек операций в панели управления. **Корневая причина недоступности — из за ошибки в механизме выкладки была нарушена последовательность миграций БД: колонка была удалена до того, как обновился код, ссылающийся на эту колонку.** ## **Влияние на клиента** В период инцидента у пострадавших клиентов: * Были нарушения SLA по модулям сценарии, процессинг, персонализация и личный кабинет. * Не открывались настройки операции в панели управления проектом. ## **Как выявляли и устраняли инцидент** * 10:52 — Зафиксировали нарушения SLA, приступили к диагностике * 10:54 — Определили причину нарушений * 11:34 — Выработали пути решения, приступили к устранению сбоя * 11:38 — Внесли исправления * 11:41 — Полностью восстановлена работа сервисов и панели управления ## **Отчёт** **Подробнее о причине сбоя** В рамках рефакторинга сервиса мы отказались от одной из колонок: сначала выпустили код, который перестает использовать данные из этой колонки, затем запустили миграцию, которая удалит колонку. При обновлении боевого кода механизм выкладки проигнорировал зависимости между версиями: сначала был выложен пакет с удалением колонки, не смотря на то, что эта версия явно указывала, что ее нельзя выкладывать до того как пройдет выкладка кода. В ходе починки дежурные выработали два варианта восстановления колонки: добавление через механизм миграции, или добавление вручную. Механизм миграций добавить колонку не смог — он рассчитан на сложные миграции данных с сохранением доступности системы, но не поддерживает базовое добавление колонок. Дежурные переключились на второй вариант, который отработал успешно. Первопричина отказа — ошибка в механизме контроля совместимости версий. Из за ошибки настройки этот механизм работал только в тестовом \(staging\) окружении. ‌ ## **Что улучшим** **Уже сделано:** * Включили механизм защиты в боевом окружении **До 15.04.2026:** Доработаем механизм миграций — будем поддерживать возможность добавления колонок в миграции, без ручных правок

Updates as published by Mindbox (original).