장애 경위서: 카드 결제 장애 (2026-11-13 금)
- 서비스: 숲길커피 쇼핑몰
- 작성일: 2026-11-14 (토)
- 공유 대상: 대표님, 투자자분
- 작성 근거: 단톡방 대화, 서버 로그, 주문 내역(CSV), 모니터링 알림 설정, PG사(한빛페이) 공지
- 시간 표기: 모두 한국시간(KST). 서버 로그는 UTC로 기록되어 있어 +9시간으로 변환했습니다.
1. 요약
11월 13일 18:41 배포한 v2.14(금액 표시 쉼표 통일)가 PG사에 보내는 결제 금액까지 바꿔 버렸습니다. 금액이 14800이 아니라 "14,800"으로 전송되었고, PG사는 이를 INVALID_AMOUNT로 거절했습니다. 그 결과 18:45부터 카드 결제가 전면 실패했습니다.
19:44 이전 버전(v2.13)으로 롤백해 복구했고, 복구 후 첫 정상 카드 결제는 19:52에 확인됩니다. PG사 점검이나 서버 다운이 아니라 우리 쪽 배포로 인한 장애입니다.
| 항목 | 내용 |
|---|---|
| 영향 시간 | 18:45 ~ 19:46 (약 1시간 2분). 롤백 완료는 19:46:58입니다. |
| 영향 범위 | 카드 결제 전체. 무통장입금은 정상이었습니다. |
| 실패한 실주문 | 21건, 합계 406,100원 (16명) |
| 직원 테스트 결제 실패 | 3건 (1,000원씩, 매출 아님) |
| 재주문으로 회복된 주문 | 6명, 6건, 124,900원 |
| 재주문 기록이 없는 고객 | 10명. 같은 장바구니를 중복 시도한 건을 합치면 약 198,600원의 매출을 잃었을 가능성이 있습니다. |
| 장애 인지까지 걸린 시간 | 첫 실패(18:45)부터 첫 고객 문의(19:02)까지 17분 |
2. 타임라인 (KST)
| 시각 | 사건 | 출처 |
|---|---|---|
| 18:35 | 박개발 님이 쉼표 통일 작업을 "작은 수정이라 바로 배포"하겠다고 공지 | 단톡 |
| 18:41 | v2.14 배포 시작 (변경: 결제 금액 표시 형식 통일, 천 단위 쉼표). 18:41:52 완료 | 서버 로그 |
| 18:45 | 첫 결제 실패 (SG-5808, sent_amount="14,800", INVALID_AMOUNT). 이후 모든 카드 결제 실패 |
서버 로그 |
| 19:02 | 고객센터에 "카드 결제 안 된다" 전화 접수 (최매니저) | 단톡 |
| 19:04 | 인스타 DM 2건 "결제 오류" | 단톡 |
| 19:06~07 | 무통장입금은 정상 접수되는 것을 확인 | 단톡 |
| 19:09~11 | 직원 1,000원 테스트 결제 실패, 화면에 "결제 금액 오류" | 단톡, 주문 내역 |
| 19:14 | 박개발 님: 서버는 정상이고 알림도 없었다. PG사 점검일 수도 있다고 추정 | 단톡 |
| 19:20~31 | PG사 콜센터에 문의, "현재 점검 없음" 답변. 서버의 PG 상태 확인(19:15)도 maintenance=none |
단톡, 서버 로그 |
| 19:35 | 박개발 님이 로그에서 금액이 쉼표 붙은 문자열로 전송되는 것을 발견하고, 원인을 오늘 배포로 특정 | 단톡 |
| 19:44 | 롤백 시작 (v2.13). 19:46:58 완료 | 단톡, 서버 로그 |
| 19:47 | 박개발 님: 롤백 후 테스트 결제 성공 | 단톡 |
| 19:50 | 인스타에 "결제 오류 해결됐습니다" 공지 | 단톡 |
| 19:52 | 롤백 후 첫 고객 카드 결제 성공 (SG-5834). 이후 정상 | 서버 로그, 주문 내역 |
3. 원인
직접 원인
v2.14는 화면에 보이는 금액에 천 단위 쉼표를 넣는 변경이었습니다. 그런데 같은 서식이 PG사 승인 요청의 금액 값에도 적용되었습니다. 배포 전에는 sent_amount=14800(숫자), 배포 후에는 sent_amount="14,800"(쉼표가 든 문자열)이 전송되었고, PG사는 이를 INVALID_AMOUNT로 거절했습니다. PG사 HTTP 응답은 200이었고 결과 코드만 FAIL이었습니다.
로그상 배포 전 마지막 성공은 18:38 주문이고, 배포 후 첫 주문(18:45)부터 이후 카드 결제는 모두 실패했습니다. 롤백 직후부터는 다시 모두 성공했습니다. 배포 시점과 장애의 시작·끝이 정확히 맞물립니다.
인지가 늦어진 이유
- 알림이 없었습니다. 모니터링은 "서버 5xx 비율 5% 초과"와 "응답 시간 3초 초과"만 보도록 설정되어 있고(2025-03 작성), PG 결제 결과 코드는 알림 대상이 아닙니다. 이번 장애는 HTTP 200 + 결제 거절이라 어떤 알림 조건에도 걸리지 않았습니다. 결국 고객 문의가 최초 감지 수단이었습니다.
- 원인 추정이 약 30분 헛돌았습니다. 19:14에 "PG사 점검일 수도 있다"고 추정했습니다. 확인 결과 PG사 점검 공지는 11월 15일(일) 02:00~04:00 건이었고, 13일에는 점검이 없었습니다. 서버 로그 확인은 19:35에야 이뤄졌습니다. 배포 직후 발생한 장애이므로 최근 배포를 먼저 의심하고 결제 요청 로그부터 봤다면 더 빨랐을 것입니다.
근본 원인 (구조적 요인)
- 표시용 금액 서식과 PG 전송용 금액 값이 분리되어 있지 않았습니다.
- 배포 후 결제 동작을 확인하는 절차가 없었습니다. 18:35 공지("작은 수정이라 바로 배포")와 배포 후 18:42 "끝났습니다"만 있고, 배포 직후 테스트 결제 기록은 없습니다. 첫 테스트 결제는 장애 인지 후 19:09에 이뤄졌습니다.
- 결제 실패를 감지하는 알림이 없었습니다.
대표님께서 단톡에서 "박개발 님 실수라고 써 달라"고 요청하셨습니다. 장애를 일으킨 변경이 박개발 님의 작업이었던 것은 사실이고 위에 그대로 적었습니다. 다만 같은 변경이 배포 전 검증과 감지 알림이 있는 체계였다면 몇 분 안에 잡혔을 문제였습니다. 그래서 이 문서는 개인의 실수가 아니라 검증 절차와 알림 체계의 공백을 원인으로 정리했습니다. 이 점은 대표님께서 검토하시고 필요하면 조정해 주세요.
4. 영향
- 카드 결제 실패 (실제 고객): 21건 / 16명 / 합계 406,100원. 같은 고객이 여러 번 재시도한 건이 포함되어 있습니다(고민재, 임지민, 유가은, 윤하은, 오건우 각 2건).
- 재주문으로 회복: 6명(윤하은, 장시우, 임지민, 한유진, 오건우, 서다은)이 19:52~20:26 사이에 같은 금액으로 재주문했습니다. 합계 124,900원입니다.
- 미회복 가능성: 나머지 10명은 주문 기록에서 재주문이 확인되지 않습니다(황지호, 고민재, 신준서, 홍은우, 권수아, 문서아, 유가은, 안채원, 송현우, 전소율). 중복 장바구니를 한 건으로 합치면 약 198,600원입니다. 다른 이름이나 다른 채널로 주문했을 수도 있어, 이 수치는 고객명 일치 기준의 추정치입니다.
- 무통장입금: 영향 없음. 장애 중 2건이 정상 접수되었습니다(SG-5832, SG-5833, 입금대기).
- 직원 테스트 결제: 3건 실패(SG-5829~5831). 매출 영향은 없습니다.
- 이상은 18:45~19:46 구간의 주문 내역과 로그 기준입니다. 이 시간대에 장바구니에서 결제 오류를 보고 아예 주문 시도를 하지 않고 이탈한 고객은 집계되지 않습니다.
5. 조치 내용
- 19:44~19:47 v2.13으로 롤백, 정상화 확인
- 19:50 인스타그램에 복구 공지
- 19:52 이후 카드 결제 정상 (로그와 주문 내역으로 확인). 20:44 마지막 기록까지 이상 없음
6. 확인되지 않은 사항 (자료 부족)
작성 시점에 확인해 줄 사람이 없어, 아래는 자료에 없어 추정하지 않고 비워 두었습니다. 확인 후 보완이 필요합니다.
- 결제 실패한 고객에게 카드 승인이나 출금이 발생하지 않았는지: 결과가 FAIL이라 승인되지 않은 것으로 보이나, PG사 거래 내역 대조 기록은 없습니다.
- 결제 실패 고객 10명에게 개별 안내(재주문 안내, 사과)를 했는지: 자료에 없습니다. 공지는 인스타 1건뿐입니다.
- 19:47 "롤백 후 테스트 결제 성공"은 단톡에만 있고, 주문 내역과 로그에는 해당 테스트 주문이 없습니다. 실고객 성공 결제(19:52)로 복구 사실은 확인됩니다.
- 이번 배포가 배포 전 검토나 테스트를 거쳤는지: 자료상 확인되지 않습니다. 로그에는
by=ci로 기록되어 있습니다. - 매출 손실의 정확한 금액: 위 4번 항목의 추정치입니다.
7. 재발 방지 대책 (제안)
담당자와 기한은 자료에 없어 비워 두었습니다. 대표님과 협의해 확정이 필요합니다.
| # | 대책 | 효과 | 담당/기한 |
|---|---|---|---|
| 1 | PG 결제 결과 알림 추가: 결제 실패(FAIL) 비율이나 연속 실패 횟수가 기준을 넘으면 단톡 알림 | 이번처럼 서버가 정상이어도 결제 장애를 몇 분 안에 감지 | 미정 |
| 2 | 표시용 서식과 PG 전송 값 분리: PG 요청 금액은 항상 숫자 타입으로 보내고, 서식 함수는 화면에만 사용 | 같은 유형의 장애 차단 | 미정 |
| 3 | 결제 금액 형식 자동 테스트: 배포 전에 PG 요청 값이 숫자인지 검증하는 테스트를 추가 | 배포 전에 차단 | 미정 |
| 4 | 배포 후 테스트 결제 필수화: 결제와 관련된 변경이 아니더라도 배포 직후 소액 결제 1건을 확인 | 장애를 고객보다 먼저 발견 | 미정 |
| 5 | 장애 대응 순서 정리: 장애 시 "최근 배포 확인 → 로그 확인 → 롤백"을 먼저 하고, 외부 원인 추정은 그 후에 | 원인 추정에 허비한 약 30분 단축 | 미정 |
| 6 | 고객 개별 안내: 결제 실패 고객에게 사과와 재주문 안내 | 미회복 매출 일부 회수 | 미정 |
부록: PG사 점검 공지
한빛페이 정기 점검은 11월 15일(일) 02:00~04:00이며, 이 시간에 카드 승인이 일시 중단됩니다. 이번 장애와는 무관하지만 곧 예정된 점검이므로, 해당 시간대 주문 감소가 예상된다는 점을 참고해 주세요.