Major incident

Walla Form: 2026-03-24 ~ 2026-03-26 왈라 자동화 (Google Sheets) 서비스 장애

Affected: Walla Form Automation

Current status of Walla Form: Operational — live Walla Form status

Timeline

1. Mar 26, 2026, 03:31 UTC
   resolved
   2026년 3월 24일 20시(KST) 경 업데이트를 통해 설문 자동화(Google Sheet) 실패 시 재시도 기능을 업데이트 했습니다. 3월 25일, 일부 자동화(Google Sheets 연동)의 실행이 지연되거나 중복 실행되는 현상이 보고되었습니다. 자동화 메시지 처리 서버의 내부 통신 방식 변경 과정에서 응답 시간 설정 간 불일치가 발생하여, 처리 완료된 메시지가 정상적으로 확인 처리되지 않는 문제가 있었습니다. 이에 내부 통신 방식을 안정적인 이전 구조로 복원하고, 관련 버그를 함께 수정하였습니다. 2026년 3월 26일 12:03 분 부로 정상 동작을 확인하였습니다. [영향 범위] - 폼 제출 후 자동화 실행이 지연될 수 있었습니다. - 일부 자동화가 중복으로 실행되었을 수 있습니다. - 폼 제출 자체에는 영향이 없었습니다. ====== [세부 원인 개요] 실패-재시도 간 인스턴스가 홀드 되어 있는 동안 이벤트 메시지 큐가 Resolve 되지 않고 자동화 로직을 재시도 하였으며, 이로 인해 또 다시 자동화가 실패하여 무한 재시도 현상이 발생하였습니다. [세부 원인] 자동화에서 Worker에 대한 gRPC 호출이 비동기에서 동기로 변경되면서, HTTP 서버의 WriteTimeout(30초)과 gRPC 호출 timeout(5분) 간 불일치가 발생. - Worker가 응답하기 전에 HTTP 연결이 강제 종료되어, Pub/Sub에 ACK 응답이 전달되지 않음 - Google Sheets 자동화는 배치 대기(5초) + API 호출 + rate limit 재시도로 30초를 초과하는 빈도가 높았음 - 미확인 메시지가 ack deadline(300초) 후 재전달되면서, 동일 spreadsheet에 대한 요청이 증가 → Google Sheets API 429 rate limit 빈발 → 재시도 시간 증가 → 악순환 발생 Pub/Sub push → Coordinator (동기 gRPC, 블록) → Worker: 배치 대기 5s + API 호출 + 재시도 ≈ 19~30s → 30s: WriteTimeout 발동, TCP 연결 강제 종료 → Pub/Sub: 응답 없음 → 미확인 → 300s 후 재전달 → 재전달 루프 [세부 조치 사항] 재시도 로직을 유지한 채로, gRPC 호출 비동기로 원복 [세부 경과] - 2026-02-20: Automation 동기 gRPC 호출 전환 + Google Sheets 배치 처리 도입 배포 - 2026-02-20 ~ 03-26: Pub/Sub 미확인 메시지가 점진적으로 누적. 재전달로 인한 중복 job 생성 발생 - 2026-02-27: 중복 방지(dedup) 로직 및 PermanentError 타입 추가로 증상 완화 시도 - 2026-03-24: 추가 중복 방지 및 status 표준화 패치 적용 - 2026-03-26: 근본 원인 분석 완료 및 hotfix 배포 - 2026-03-26 12:03 조치 완료

Updates as published by Walla Form (original).