No impact incident

Mindbox: Нарушение обработки асинхронных запросов для 20% клиентов в течение 60 минут

Current status of Mindbox: Operational — live Mindbox status

Timeline

1. Oct 3, 2026, 08:30 UTC
   resolved
   03 октября 2026 года с 23:50 до 00:50 (мск) до 16% асинхронных запросов для этих клиентов завершились ошибкой. Вернемся с детальным разбором в течение 2 недель.
2. Oct 9, 2026, 12:47 UTC
   postmortem
   03 октября 2026 года с 23:50 до 00:50 04 октября \(мск\) у 20% клиентов Mindbox в течение 60 минут были нарушения в обработке асинхронных запросов. **Корневая причина — алгоритм разрыва подключения для обращений к сторонним сервисам не учитывал тайм-ауты. Поэтому при недоступности стороннего сервиса обращения к нему продолжали ждать ответа по 10 секунд и исчерпали слоты обработки входящих запросов в Mindbox.** ### **Влияние на клиента** В период инцидента Mindbox отвечал на часть входящих запросов ошибкой HTTP 503. Если клиент не повторил такой запрос, данные не были сохранены. ‌ **Как выявляли и устраняли инцидент** * **00:00** — сработала эскалация систем мониторинга * **00:18** — дежурные инженеры локализовали проблему * **00:45** — в продуктовой среде была развернута версия приложения с уменьшением времени ожидания сторонних сервисов * **00:50** — ошибки прекратились, обработка запросов вернулась в нормальный режим ‌ **Отчёт** **Подробнее о причине сбоя** Часть асинхронных запросов Mindbox выполняет через обращения к сторонним сервисам. Для случаев, когда эти сервисы недоступны, предусмотрен алгоритм разрыва подключения: после серии ошибок он прекращает обращения к сервису на 30 секунд. Однако он учитывал только ошибки выполнения обращений и не учитывал тайм-ауты. Поэтому, когда сторонний сервис стал недоступен, обращения к нему продолжились, и каждое обращение ждало ответа по 10 секунд. Зависшие обращения заняли все слоты обработки входящих запросов Mindbox, и новые входящие запросы стало нечем обрабатывать. ‌ ### **Что улучшим** **Что уже сделали:** * Исправлена ошибка в алгоритме разрыва подключения — теперь обращения, прерванные по тайм-ауту, приводят к разрыву **В работе:** * Создадим отдельную очередь для асинхронных запросов, требующих обращения к сторонним сервисам — ноябрь 2026 г. * Добавим тесты, воспроизводящие недоступность сторонних сервисов — до конца 2026 г.

Updates as published by Mindbox (original).