숲길커피 카드 결제 장애 경위서
- 장애 일시: 2026년 11월 13일(금) 18:45 ~ 19:46 (한국시간, 약 1시간 1분)
- 작성일: 2026년 11월 14일(토)
- 공유 대상: 대표님, 투자자분
- 근거 자료: 운영 단톡방 대화, 서버 기록(UTC), 주문 내역(CSV), 모니터링 알림 설정, PG사(한빛페이) 공지
서버 기록은 UTC로 남아 있어 한국시간(UTC+9)으로 환산했습니다. 환산한 시각은 단톡방과 주문 내역의 시각과 서로 맞습니다.
1. 요약
11월 13일 18:41에 올린 배포(v2.14, 결제 금액 표시 형식 통일)가 결제 요청에 영향을 줬습니다. 결제 금액이 PG사로 14,800처럼 쉼표가 붙은 문자열로 전달됐고, PG사가 이를 INVALID_AMOUNT로 거절했습니다. 그 결과 18:45부터 19:46까지 모든 카드 결제가 실패했습니다. 19:44에 이전 버전(v2.13)으로 되돌려(롤백) 19:47에 정상화를 확인했습니다. 무통장입금은 영향이 없었습니다.
원인은 PG사 측 문제나 서버 장애가 아니라 우리 쪽 배포 내용입니다. 장애를 우리가 먼저 알아채지 못한 것은 별개의 문제입니다. 결제 결과가 모니터링 알림 대상에 없어서, 첫 실패 후 17분이 지나 고객 전화를 받고서야 알았습니다.
2. 영향
| 항목 | 내용 |
|---|---|
| 영향 범위 | 카드 결제 전체 (무통장입금은 정상) |
| 실패 시간 | 18:45 ~ 19:46 (약 1시간 1분) |
| 결제 실패 주문 | 고객 주문 21건 (합계 406,100원) + 직원 테스트 3건 |
| 영향 받은 고객 | 16명 (같은 고객이 두 번 시도한 경우가 있음) |
| 롤백 후 재주문 | 6명 (6건, 124,900원), 모두 장애 때 실패한 고객 |
| 재주문이 확인되지 않은 고객 | 10명 (실패 주문 12건, 235,400원) |
| 무통장입금 주문 | 2건 (입금대기, 장애 시간대에도 정상 접수) |
- 장애 전(18:02~18:38)에는 카드 결제 7건이 모두 정상 승인됐습니다.
- 롤백 이후(19:52~20:44)에는 카드 결제 9건이 모두 정상 승인됐습니다. 이 중 6건이 재주문이고 3건은 신규 주문입니다.
- 406,100원은 결제에 실패한 주문의 금액입니다. 이 중 재주문으로 회복된 금액은 위 표와 같고, 나머지는 고객이 다른 경로로 구매했는지 자료로 알 수 없어 확정 손실액으로 단정하지 않았습니다.
- 결제 실패 건은 PG사가 승인 전에 거절했습니다. 고객 카드에 승인·청구가 발생했다는 기록은 자료에 없습니다.
3. 시간대별 경과 (한국시간)
| 시각 | 내용 | 출처 |
|---|---|---|
| 18:35 | 박개발: "금액 표시 쉼표 통일 작업, 작은 수정이라 바로 배포" 예고 | 단톡 |
| 18:41 | v2.14 배포 시작 (변경 내용: 결제 금액 표시 형식 통일, 천 단위 쉼표) | 서버 기록 |
| 18:41~18:42 | 배포 완료 (단톡 18:42 "배포 끝났습니다") | 서버 기록, 단톡 |
| 18:45 | 첫 카드 결제 실패 (SG-5808, INVALID_AMOUNT, 전송 금액 "14,800") |
서버 기록, 주문 |
| 18:45~19:01 | 고객 주문 14건 연속 실패. 이 시간 동안 팀은 인지하지 못함 | 주문 내역 |
| 19:02 | 고객센터 전화로 최초 인지 (장애 시작 후 17분) | 단톡 |
| 19:04 | 인스타그램 DM 2건 접수 | 단톡 |
| 19:06~19:07 | 대표님 문의로 무통장입금 정상 확인 | 단톡 |
| 19:09~19:11 | 최매니저 1,000원 테스트 결제 실패, "결제 금액 오류" 확인 | 단톡 |
| 19:14 | 박개발: "서버는 멀쩡, 알림도 없음, PG 점검일 수도" 의견 | 단톡 |
| 19:20 | 대표님 PG사 문의 지시 | 단톡 |
| 19:31 | PG 콜센터: "현재 점검 없음" (서버 기록에도 19:15 maintenance=none) |
단톡, 서버 기록 |
| 19:35 | 박개발이 로그에서 금액에 쉼표가 붙은 것을 확인, 배포가 원인이라고 판단 | 단톡 |
| 19:44 | 롤백 시작 (v2.13) | 단톡, 서버 기록 |
| 19:46 | 롤백 완료. 롤백 시작 직후 들어온 주문 2건(SG-5827, 5828)은 마지막으로 실패 | 서버 기록 |
| 19:47 | 테스트 결제 성공 확인 | 단톡 |
| 19:50 | 인스타그램에 "결제 오류 해결" 공지 | 단톡 |
| 19:52 | 롤백 후 첫 정상 결제 (SG-5834) | 서버 기록 |
주요 구간의 소요 시간:
- 첫 실패 → 인지: 17분 (18:45 → 19:02)
- 인지 → 원인 확인: 33분 (19:02 → 19:35)
- 원인 확인 → 롤백 완료: 약 12분 (19:35 → 19:46)
4. 원인
직접 원인
v2.14의 "금액 표시 형식 통일(천 단위 쉼표)" 변경이 화면 표시용 금액뿐 아니라 PG사로 보내는 결제 금액에도 적용됐습니다. 서버 기록상 정상일 때는 sent_amount=12500(숫자)이었는데, 배포 후에는 sent_amount="12,500"(쉼표가 붙은 문자열)으로 바뀌었습니다. PG사는 이 값을 유효하지 않은 금액으로 거절했습니다. 배포 직전 마지막 결제는 정상이었고 배포 후 첫 결제부터 실패했으며, 롤백 직후 정상으로 돌아왔습니다. 이 순서가 원인을 뒷받침합니다.
오래 걸린 이유
- 결제 실패가 알림 대상이 아니었습니다. 알림 설정(2025-03 작성)은 서버 5xx 비율 5% 초과, 응답 시간 3초 초과만 감시하고, PG 결제 결과 코드는 대상에서 제외되어 있습니다. 이번 장애는 서버가 HTTP 200으로 응답했고 속도도 정상이어서 어떤 알림 조건에도 걸리지 않았습니다. 그래서 고객이 먼저 알려줬습니다.
- 배포 직후 결제 확인이 없었습니다. 단톡 기록에는 배포 후 결제 테스트가 없고, 18:42 배포 완료부터 19:09 테스트 결제까지 약 27분간 결제 확인이 이뤄지지 않았습니다. 배포 전 결제 테스트를 했는지는 자료에 없어 판단하지 않았습니다. 이 변경은 "작은 수정"으로 분류되어 바로 배포됐습니다.
- 초기 진단이 PG사 점검 쪽으로 향했습니다. 19:14에 PG사 점검 가능성이 거론됐으나 실제 점검 공지는 11월 15일(일) 02:00~04:00로, 11월 13일과 무관했습니다. 19:31에 PG사가 점검이 없다고 확인해줬고, 원인 확인은 로그의 금액 형식을 본 19:35에 이뤄졌습니다. 배포 직후 시작된 장애여서 최근 배포를 먼저 의심했다면 더 빨리 좁힐 수 있었을 것입니다.
책임에 대하여
이 변경을 작성하고 배포한 사람은 박개발님입니다(서버 기록상 배포 계정은 ci). 대표님께서는 단톡에서 이를 박개발님 개인의 실수로 명시해 달라고 하셨습니다. 다만 이 경위서는 자료로 확인되는 사실만 적었고, 특정인의 책임을 단정하는 표현은 쓰지 않았습니다. 이유는 다음과 같습니다.
- 코드 변경이 직접 원인인 것은 사실입니다. 그러나 같은 변경이 17분 동안 발견되지 않은 것, 27분간 결제 확인이 없던 것은 개인이 아니라 배포 후 점검 절차와 알림 설정이 없었던 체계의 문제입니다.
- 박개발님은 19:35에 원인을 찾아 19:44에 롤백했습니다. 대응 과정의 사실은 기록에 남겼습니다.
책임 소재를 어떻게 정리할지는 대표님이 판단하실 부분입니다.
5. 고객 대응 현황
- 19:50 인스타그램에 해결 공지를 올렸습니다.
- 롤백 후 6명이 재주문했습니다.
- 재주문이 확인되지 않은 고객 10명(아래 목록)에게 개별 안내를 했다는 기록은 없습니다. 인스타그램 공지 외의 개별 안내는 자료에서 확인되지 않습니다.
재주문 미확인 고객 10명: 고민재, 권수아, 문서아, 송현우, 신준서, 안채원, 유가은, 전소율, 홍은우, 황지호
6. 재발 방지 및 후속 조치 (제안)
아래는 자료에서 도출한 제안이며, 담당자와 기한은 아직 정해지지 않았습니다.
| 구분 | 내용 | 해결하는 문제 |
|---|---|---|
| 알림 | PG 결제 실패(INVALID_AMOUNT 등 결과 코드), 카드 결제 성공률 급락을 알림 대상에 추가 |
17분 인지 지연 |
| 배포 | 결제 경로를 건드릴 수 있는 변경은 배포 후 직원이 즉시 소액 결제 테스트를 하는 절차 추가 | 27분간 확인 공백 |
| 코드 | PG 전송 금액은 숫자만 보내도록 표시용 포맷과 분리, 전송 금액 형식 자동 테스트 추가 | 직접 원인 |
| 장애 대응 | 배포 직후 장애는 최근 배포부터 의심하는 점검 순서를 문서화 | 원인 파악 33분 |
| 고객 | 재주문이 확인되지 않은 고객 10명에게 사과와 재주문 안내 | 미회복 주문 235,400원 |
| 확인 | 실패 주문 21건에 대해 PG사에 승인·청구 이력이 없는지 확인 | 이중 청구 우려 점검 |
참고: PG사(한빛페이)의 정기 점검이 11월 15일(일) 02:00~04:00에 예정되어 있고, 이 시간에는 카드 승인이 중단됩니다. 이번 장애와는 무관한 계획된 점검이므로 고객 안내만 필요합니다.
7. 확인하지 못한 사항
- 장애 시간대에 카드 결제를 시도하지 않고 이탈한 고객의 수 (자료에 없음)
- 재주문이 확인되지 않은 고객이 다른 경로로 구매했는지 여부
- 배포 전 테스트·리뷰 절차가 있었는지 (자료에 없음)
- 알림 설정 담당자와 PG 결과 코드를 제외한 경위
- 인스타그램 DM 2건의 고객과 주문 내역의 일치 여부