Major incident

STACKIT: Several STACKIT Services impaired (e.g. Object Storage, Cloud Foundry)

Affected: Network, Observability, Cloud Foundry, Virtual Machine, Object Storage, Kubernetes Engine

Current status of STACKIT: Operational — live STACKIT status

Timeline

1. Jul 9, 2026, 02:17 UTC
   investigating
   Deutsch Wir beobachten derzeit Auffälligkeiten in der Plattform und analysieren die Auswirkungen auf Kundenworkloads. Über unsere Statusseite werden wir Sie regelmäßig über die Entwicklungen informieren. Ihr STACKIT Team Der STACKIT Support steht Ihnen jederzeit zur Verfügung. English We are currently observing anomalies in the platform and are analyzing the impact on customer workloads. We will keep you regularly informed via our status page. Your STACKIT team STACKIT Support is available to you at any time.
2. Jul 9, 2026, 02:30 UTC
   identified
   Deutsch Wir haben eine Störung in der STACKIT Plattform identifiziert. Vereinzelt kann es zu Ratelimiting auf dem zentralen STACKIT Object Storage kommen. Unser Team arbeitet daran, die Ursache des Problems zu finden und zu beheben. Über unsere Statusseite werden wir Sie regelmäßig über die Entwicklungen informieren. Ihr STACKIT Team Der STACKIT Support steht Ihnen jederzeit zur Verfügung. English We have identified a fault in the STACKIT platform. In individual cases, rate limiting can occur on the central STACKIT object storage. Our team is working on finding and fixing the cause of the problem. We will keep you regularly informed of developments via our status page. Your STACKIT team STACKIT Support is available to you at any time.
3. Jul 9, 2026, 03:23 UTC
   identified
   Deutsch Wir haben eine Störung in der STACKIT Plattform identifiziert. - STACKIT Object Storage -> Ratelimit für einzelne Projekte - STACKIT Cloud Foundry -> Controlplane aktuell nicht verfügbar - STACKIT Kubernetes Engine -> Teilweise Controlplane beinträchtigt; Backups können in Einzelfällen verzögert erstellt werden Unser Team arbeitet daran, die Ursache des Problems zu finden und zu beheben. Über unsere Statusseite werden wir Sie regelmäßig über die Entwicklungen informieren. Ihr STACKIT Team Der STACKIT Support steht Ihnen jederzeit zur Verfügung. English We have identified a fault in the STACKIT platform. - STACKIT Object Storage -> rate limit for individual projects - STACKIT Cloud Foundry -> Control plane currently not available - STACKIT Kubernetes Engine -> Partial Control plane impaired; Backups can be created with a delay in individual cases Our team is working on finding and fixing the cause of the problem. We will keep you regularly informed of developments via our status page. Your STACKIT team STACKIT Support is available to you at any time.
4. Jul 9, 2026, 04:43 UTC
   identified
   Deutsch Wir haben eine Störung in der STACKIT Plattform identifiziert. Unser Team arbeitet weiterhin daran, die Ursache des Problems zu finden und zu beheben. Über unsere Statusseite werden wir Sie regelmäßig über die Entwicklungen informieren. Ihr STACKIT Team Der STACKIT Support steht Ihnen jederzeit zur Verfügung. English We have identified a fault in the STACKIT platform. Our team is still working on finding and fixing the cause of the problem. We will keep you regularly informed of developments via our status page. Your STACKIT team STACKIT Support is available to you at any time.
5. Jul 9, 2026, 05:25 UTC
   identified
   Deutsch Wir haben eine Störung in der STACKIT Plattform identifiziert. - IaaS: Control Plane aktuell teilweise nur eingeschränkt verfügbar (laufender Workload ist nicht betroffen) Unser Team arbeitet daran, die Ursache des Problems zu finden und zu beheben. Über unsere Statusseite werden wir Sie regelmäßig über die Entwicklungen informieren. Ihr STACKIT Team Der STACKIT Support steht Ihnen jederzeit zur Verfügung. English We have identified a fault in the STACKIT platform. - IaaS: Control Plane is currently only partially available (already running workload is not affected) Our team is working on finding and fixing the cause of the problem. We will keep you regularly informed of developments via our status page. Your STACKIT team STACKIT Support is available to you at any time.
6. Jul 9, 2026, 06:06 UTC
   identified
   We are continuing to work on a fix for this issue.
7. Jul 9, 2026, 06:45 UTC
   identified
   Deutsch Wir haben eine Störung in der STACKIT Plattform identifiziert. - Aktuell sehen wir bei einigen Kunden auch negative Auswirkungen auf den Datenpfad des STACKIT Object Storage. Unser Team arbeitet daran, die Ursache des Problems zu finden und zu beheben. Über unsere Statusseite werden wir Sie regelmäßig über die Entwicklungen informieren. Ihr STACKIT Team Der STACKIT Support steht Ihnen jederzeit zur Verfügung. English We have identified a fault in the STACKIT platform. - We are currently also seeing negative effects on the data path of the STACKIT Object Storage for some customers. Our team is working on finding and fixing the cause of the problem. We will keep you regularly informed of developments via our status page. Your STACKIT team STACKIT Support is available to you at any time.
8. Jul 9, 2026, 07:33 UTC
   identified
   Deutsch Das Problem wurde identifiziert und wir arbeiten an einer schnellen Wiederherstellung des Services. - IaaS API ist wieder voll funktionsfähig - An den anderen betroffenen Services arbeiten wir aktiv und sehen erste Verbesserungen Ihr STACKIT Team Der STACKIT Support steht Ihnen jederzeit zur Verfügung. English The cause of the problem has been identified and we are working to quickly restore the service. - IaaS API is fully functional again - We are actively working on the other affected services and are seeing initial improvements Your STACKIT team STACKIT Support is available to you at any time.
9. Jul 9, 2026, 09:04 UTC
   identified
   Deutsch Status update: Object Storage Requests werden wieder verarbeitet und der Dienst wird intensiv überwacht. Es wurde eine weitere IP Adresse hinter dem Object Storage DNS Record hinzugefügt. Bitte beachten Sie dass Sie gegebenenfalls ihre Firewall Richtlinien um die IP Adresse 193.148.160.80 erweitern. IaaS API Wiederhergestellt und einsatzbereit. SKE Das Skalieren (Up/Down) und die Bereitstellung neuer Nodes wurden während der laufenden Wiederherstellung ausgesetzt. Nodes, die sich derzeit im Rolling Update befinden, sind weiterhin betroffen. Die Funktionalität wird Schritt für Schritt wieder aktiviert. Cloud Foundry Die Control Plane war betroffen, wodurch Befehle wie `cf push` nicht verfügbar waren. Das Hochladen von Droplets lief langsam, erholt sich aber jetzt. Der verzögerte Abgleich von Kundenanwendungen wird aktuell nachgeholt. MongoDB Alle Instanzen sind online und laufen. SQLServer Flex Alle Instanzen sind online und laufen. PostgreSQL Flex Wenige Instanzen stehen derzeit still. Die Teams arbeiten aktiv an der Behebung dieser spezifischen Umgebungen. Kundenseitig kann eine Erweiterung der Festplattengröße Abhilfe schaffen. Observability Das Abfragen von Daten, die älter als eine Stunde sind, ist derzeit nicht möglich. Der STACKIT Support steht Ihnen jederzeit zur Verfügung. English Object Storage Request processing has recovered and the service is being intensely monitored. A new IP address was added in the object storage DNS record. Please be aware that you might need to add the IP address 193.148.160.80 to your firewall policies. IaaS API Recovered and is usable. SKE Scaling up/down and provisioning new nodes has been suspended while recovery is underway. Nodes currently undergoing rolling updates remain impacted. Cloud Foundry The control plane was impacted, meaning operations like cf push were unavailable. Droplet uploads have been slow but are now recovering. Delayed customer application reconciliations are currently catching up. MongoDB All instances are up and running. SQLServer Flex All instances are up and running. PostgreSQL Flex A few instances are currently stuck. Teams are actively resolving these specific environments. Affected customers can support the resolution by increasing disk capacity. Observability Querying data older than one hour is currently unavailable. STACKIT Support is available to you at any time.
10. Jul 9, 2026, 10:11 UTC
    identified
    Deutsch Das Problem wurde identifiziert und wir arbeiten an einer schnellen Wiederherstellung des Services. - STACKIT CloudFoundry ist wieder vollständig funktional - STACKIT Observability ist wieder vollständig funktional Ihr STACKIT Team Der STACKIT Support steht Ihnen jederzeit zur Verfügung. English The cause of the problem has been identified and we are working to quickly restore the service. - STACKIT CloudFoundry is fully functional again - STACKIT Observability is fully functional again Your STACKIT team STACKIT Support is available to you at any time.
11. Jul 9, 2026, 13:49 UTC
    identified
    Deutsch Status update: Object Storage Requests werden wieder zuverlässig verarbeitet und der Dienst wird intensiv überwacht. Es wurde eine weitere IP Adresse hinter dem Object Storage DNS Record hinzugefügt. Bitte beachten Sie dass Sie gegebenenfalls ihre Firewall Richtlinien um die IP Adresse 193.148.160.80 erweitern. IaaS API Wiederhergestellt und einsatzbereit. SKE Das Skalieren (Up/Down) und die Bereitstellung neuer Nodes wurden während der laufenden Wiederherstellung ausgesetzt. Nodes, die sich derzeit im Rolling Update befinden, sind weiterhin betroffen. Die Funktionalität wird Schritt für Schritt wieder aktiviert. Cloud Foundry Keine Einschränkungen MongoDB Keine Einschränkungen SQLServer Flex Keine Einschränkungen PostgreSQL Flex Keine Einschränkungen Observability Vereinzelte Instanzen können aktuell noch keine Daten empfangen Der STACKIT Support steht Ihnen jederzeit zur Verfügung. English Object Storage Object Storage Requests are being processed again and the service is being closely monitored. Another IP address has been added behind the Object Storage DNS record. Please note that you may need to extend your firewall policies to include the IP address 193.148.160.80. IaaS API Restored and operational. SKE Scaling (up/down) and the provisioning of new nodes have been suspended during the ongoing recovery. Nodes currently undergoing a rolling update continue to be affected. Functionality is being reactivated step by step. Cloud Foundry No restrictions MongoDB No restrictions SQLServer Flex No restrictions PostgreSQL Flex No restrictions Observability A limited number of instances are currently unable to receive data. STACKIT Support is available to you at any time.
12. Jul 9, 2026, 17:17 UTC
    monitoring
    Deutsch Sämtliche Auswirkungen der Störung wurden behoben und wir beobachten die betroffenen Komponenten weiterhin intensiv. Sollten Sie ab sofort noch Beeinträchtigungen feststellen, setzen Sie sich bitte mit dem STACKIT Support in Verbindung. Ihr STACKIT Team Der STACKIT Support steht Ihnen jederzeit zur Verfügung. English All issues caused by the outage have been resolved, and we are continuing to closely monitor the affected components. If you notice any further disruptions, please contact STACKIT Support immediately. Your STACKIT team STACKIT Support is available to you at any time.
13. Jul 9, 2026, 17:52 UTC
    resolved
    Deutsch Die Störung wurde behoben und es liegen keine Informationen über weitere Einschränkungen des Services vor. Wir entschuldigen uns für eventuell entstandene Unannehmlichkeiten und werden Maßnahmen umsetzen, die ein erneutes Auftreten der Störung verhindern. Ihr STACKIT Team Der STACKIT Support steht Ihnen jederzeit zur Verfügung. English The incident has been resolved and there is no information about further service disruptions. We apologize for any inconvenience caused and will implement measures to prevent the error from reoccurring. Your STACKIT team STACKIT Support is available to you at any time.
14. Jul 14, 2026, 17:55 UTC
    postmortem
    ## Incident Description Summary A major cloud platform disruption in region eu01 occurred between 23:45 UTC on July 08, 2026 and 17:17 UTC on July 09, 2026. The impact of the incident evolved over time and was driven by slow response times of the object storage service. ## Affected Services * Iaas Compute/Volume API * Object Storage * Databases: MongoDB, PostgreSQL Flex, SQLServer Flex * Observability * Cloud Foundry * SKE ## Root Cause The Incident was triggered by the monthly Kubernetes patch day. During scheduled patch days, automated updates of Kubernetes worker nodes are applied to keep the operating system secure and up to date. This update process takes place during a maintenance time window specified by the customer. Operating system images and disk volumes are distributed across shards across the platform. In the days preceding this event, new shards had been added to the infrastructure. These shards were designed to populate their caches by downloading operating system images only upon first use. This pre-warming of the caches did not work as expected leading to a state where common images had not been pre-cached during normal operations. This caused high response times in the object storage service, as well as delays in volume provisioning for block storage. ## Impact When the automated updates of Kubernetes worker nodes started, despite being spread over time, it caused the redistribution of many volumes to these new, un-cached shards. This influx of activity resulted in widespread cache misses, which subsequently triggered a large volume of simultaneous image pulls rather than waiting for the completion of the first download. This surge overwhelmed the object storage service, causing significant performance degradation. While the specific reasons for the failure of existing protective mechanisms are still under investigation, the degradation of the object storage service had cascading effects on dependent services throughout the platform. A small fraction of database instances experienced “file-system-full” conditions as log backups failed to complete in a timely manner. Observability services were unable to query long-term metrics, and configuration changes for Cloud Foundry could not be applied. Additionally, Kubernetes lost the ability to schedule new workers, which caused the patching process to run beyond its designated window and prevented auto-scale functionality from operating as expected. ## Preventive measures #### **Optimizing Caching Performance** Implemented backend caching to successfully improve overall caching efficiency and performance across the platform. #### **Expanding Network Capacity** Added additional network paths and devices to reduce traffic load and resolve the overload situation on the affected network infrastructure. #### **Optimizing Update Schedules** Extended the scheduled timeframe for SKE updates and patches to prevent highly concentrated system loads within a short period. #### **Enhancing Object Storage Load Balancing** Deployed additional load balancers for the Object Storage service to better distribute and manage periods of increased load.

Updates as published by STACKIT (original).