장애 경위서: 카드 결제 장애 (2026-11-13 금)
대상 서비스: 숲길커피 쇼핑몰 | 장애 시간: 18:45 ~ 19:47 (약 1시간 2분) | 등급: SEV2 작성일: 2026-11-14 | 상태: 초안 (제공된 자료만으로 작성, 담당자 확인 전) 공유 대상: 대표, 투자자
시각은 모두 한국 시간(KST) 입니다. 서버 기록은 UTC(= KST − 9시간)로 남아 있어 변환했습니다. 이 경위서는 개인의 잘잘못이 아니라 어떤 장치가 없어서 문제가 커졌는지를 기준으로 서술합니다.
1. 요약
11월 13일 18:42에 배포된 "금액 천 단위 쉼표 표시" 수정이 화면 표시뿐 아니라 카드사(PG)로 보내는 결제 금액에도 적용되어, 금액이 12500이 아닌 "12,500"으로 전달되었습니다. PG가 이를 잘못된 금액(INVALID_AMOUNT)으로 거절해, 18:45부터 19:47까지 카드 결제가 전부 실패했습니다. 문제는 모니터링이 아니라 고객 문의 전화(19:02) 로 처음 알려졌고, 원인 파악 후 이전 버전으로 되돌려(롤백) 복구했습니다. 무통장입금은 장애 내내 정상이었습니다.
PG사 장애나 점검은 원인이 아니었습니다.
2. 영향
| 항목 | 내용 |
|---|---|
| 영향 범위 | 카드 결제 100% 실패 (무통장입금은 정상) |
| 지속 시간 | 18:45:22 첫 실패 ~ 19:46:58 롤백 완료 (약 1시간 2분) |
| 실패한 고객 주문 | 21건 / 16명, 시도 금액 합계 406,100원 (직원 테스트 결제 3건 제외) |
| 이후 재주문으로 복구된 매출 | 6명 / 6건 / 124,900원 (재주문 표시가 있는 주문 기준) |
| 복구되지 않은 고객 | 10명 / 실패 12건, 최대 235,400원 (같은 고객의 재시도 중복 포함. 중복 제외 약 198,600원) |
| 같은 시간대 무통장 주문 | 2건 (입금 대기) |
- "복구되지 않은 고객"은 장애 이후 20:44까지의 주문 내역에 재주문이 없는 고객입니다. 다른 경로로 구매했을 가능성은 자료로 알 수 없습니다.
- 실패 건은 PG가 승인을 거절한 것으로 기록되어 결제는 이뤄지지 않았을 것으로 보입니다. 다만 PG 정산 내역과의 대조는 아직 하지 않았습니다.
3. 타임라인 (KST)
| 시각 | 사건 | 출처 |
|---|---|---|
| 18:35 | 금액 표시 쉼표 통일 작업을 "작은 수정이라 바로 배포"하겠다고 공유 | 단톡 |
| 18:41:10 ~ 18:41:52 | v2.14 배포 (변경 내용: 결제 금액 표시 형식 통일, 천 단위 쉼표). CI로 배포됨 | 서버 |
| 18:42 | 배포 완료 보고 | 단톡 |
| 18:45:22 | 첫 카드 결제 실패 (INVALID_AMOUNT, 전송 금액 "14,800"). 배포 후 약 3분 만에 시작 |
서버 |
| 18:45 ~ 19:01 | 카드 결제 실패 8건 연속 발생. 알림 없음 | 서버·주문 |
| 19:02 | 고객센터 전화로 "카드 결제가 안 된다"는 첫 신고 (최초 인지, 장애 시작 후 17분) | 단톡 |
| 19:04 | 인스타그램 DM 2건 ("결제 오류 떠요") | 단톡 |
| 19:06 ~ 19:07 | 무통장입금은 정상 주문 확인 | 단톡 |
| 19:09 ~ 19:11 | 직원이 1,000원 테스트 결제 → 실패, 화면에 "결제 금액 오류" | 단톡·서버 |
| 19:14 | 개발 담당: "서버는 정상이고 알림도 없다. PG 점검일 수도 있다"고 판단 | 단톡 |
| 19:15 | 시스템의 PG 상태 확인에서 "점검 없음" 기록 | 서버 |
| 19:20 | 대표 지시로 PG사 문의 결정 | 단톡 |
| 19:31 | PG 콜센터 회신: 현재 점검 없음 | 단톡 |
| 19:35 | 로그에서 금액이 "12,500"처럼 쉼표가 붙어 전송되는 것을 발견, 당일 배포를 원인으로 지목 (원인 파악) |
단톡 |
| 19:44 | 롤백 시작 (v2.13으로) | 서버·단톡 |
| 19:44 ~ 19:45 | 롤백 진행 중 카드 결제 2건 추가 실패 (마지막 실패 19:45:38) | 서버 |
| 19:46:58 | 롤백 완료. 19:47 서버 정상 확인, 개발 담당이 테스트 결제 성공 보고 | 서버·단톡 |
| 19:50 | 인스타그램에 "결제 오류 해결" 공지 | 단톡 |
| 19:52 | 이후 첫 고객 카드 결제 성공 (이후 정상 승인 지속) | 서버·주문 |
| 20:30 | 대표가 경위서 작성 지시 | 단톡 |
핵심 구간: 장애 시작 → 인지 17분, 인지 → 원인 파악 33분, 원인 파악 → 롤백 완료 약 12분. 인지부터 복구까지는 약 45분입니다.
4. 원인
직접 원인: v2.14의 쉼표 표시 변경이 PG 전송 금액에도 적용되어, 숫자(12500) 대신 쉼표가 든 문자열("12,500")이 PG로 전송됨. PG는 정상 응답(HTTP 200)으로 INVALID_AMOUNT 거절을 반환함.
근거 (서버 기록):
- v2.14 배포 전 마지막 성공 건(18:38)의 전송 금액은
12500형식, 배포 후 모든 건이"14,800"같은 쉼표 형식이었습니다. - 배포 직후부터 롤백 직전까지 카드 결제 시도 21건이 모두 실패(성공 0건), 롤백 후에는 모두 성공했습니다.
- 롤백 외에 다른 변경이 없었고, PG는 같은 시간에 점검이 없었습니다(19:15 시스템 확인, 19:31 콜센터 확인).
한계: 실제 소스 코드는 확인하지 못했습니다. 위 내용은 서버 기록과 단톡 대화에서 도출한 결론입니다.
5 Whys
- 왜 카드 결제가 실패했나? → PG에 쉼표가 든 문자열 금액이 전송되어 PG가 거절했다.
- 왜 쉼표 금액이 전송되었나? → "표시 형식 통일" 변경이 화면용 값과 PG 전송용 값을 구분하지 않고 적용된 것으로 보인다.
- 왜 배포 전에 걸러지지 않았나? → 화면 표시만 바꾸는 "작은 수정"으로 분류되어 바로 배포되었고, 배포 경로에 결제 테스트 단계가 없었다(자료에서 사전 결제 테스트·리뷰 기록은 확인되지 않음).
- 왜 배포 직후 감지되지 못했나? → 알림 설정(2025-03 작성)은 서버 5xx 비율과 응답 시간만 대상이고 PG 결제 결과 코드는 대상이 아니다. PG 거절이 HTTP 200으로 돌아와 서버는 "정상"으로 보였다.
- 왜 복구가 늦어졌나? → 장애 때 "직전 배포부터 확인한다"는 절차가 없어, PG 점검 여부 확인(전화 포함)을 먼저 했다. 근거는 "이번 주에 점검 공지가 있었던 것 같다"는 기억이었는데, 실제 점검 공지는 11월 15일(일) 02:00~04:00로 이번 장애와 무관했다.
근본 원인: 결제가 실제로 되는지를 확인하는 장치가 배포 전(결제 테스트)에도, 배포 후(결제 실패 알림)에도 없었고, 장애 대응 순서(직전 변경 확인, 롤백 기준)가 정해져 있지 않았다.
5. 잘한 점
- 직원이 1,000원 테스트 결제로 증상을 바로 재현했고, 무통장입금이 정상임을 확인해 문제 범위를 좁혔다.
- 대표 지시로 PG사에 확인해 PG 쪽 문제를 배제했다.
- 로그에서 원인을 찾은 뒤 약 9분 만에 롤백을 시작했고(19:44), 롤백 자체는 약 3분 안에 끝났다.
- 롤백 후 테스트 결제와 실제 고객 결제 성공으로 복구를 확인하고, 고객에게 해결을 공지했다.
- 장애 당일 경위서 작성을 지시해 기록이 남았다.
6. 아쉬운 점
- 장애를 고객 신고로 처음 알았다. 시스템 알림은 한 건도 울리지 않았다.
- 장애 초기 가설이 "PG 점검"에 쏠렸다. 배포(18:42)와 첫 실패(18:45)의 시간 근접성이 원인 파악 후에야 연결되었다. 시스템에는 19:15 시점에 이미 "PG 점검 없음" 기록이 있었다.
- "서버 정상"의 기준이 서버 상태(health)였고, 결제 성공 여부가 아니었다.
- 장애가 진행되는 동안 고객 공지가 없었다. 첫 공지는 복구 후 19:50이었다. 그 사이 실패한 고객 10명은 이후 주문 내역에 보이지 않는다.
- 롤백 중에도 결제 2건이 더 실패했다(롤백 시작 ~ 완료 구간).
- 19:47 개발 담당의 테스트 결제 성공은 단톡에만 있고, 서버 기록과 주문 내역에는 해당 건이 보이지 않는다. 복구 자체는 19:52 이후 실제 고객 결제 성공으로 확인된다.
7. 후속 조치 (제안)
자료만으로는 담당자와 일정을 확정할 수 없어 역할 기준 제안으로 적었습니다. 확정이 필요합니다.
| 우선순위 | 조치 | 제안 담당 | 제안 기한 |
|---|---|---|---|
| P0 | 11/15(일) 02:00~04:00 PG 정기 점검 때 카드 승인이 중단됩니다. 이번 장애와 혼동되지 않도록 고객에게 사전 공지 | 운영 매니저 | 11/14(토) 중 |
| P0 | 복구되지 않은 고객 10명에게 개별 안내·사과 (보상 여부는 대표 판단) | 운영 매니저 / 대표 | 11/16(월) |
| P0 | PG 정산 내역과 대조해 실패 21건에 승인·이중 청구가 없는지 확인 | 운영 매니저 + 개발 | 11/16(월) |
| P0 | 쉼표 표시 변경은 롤백된 상태(미반영). PG 전송 금액은 숫자로 분리해 다시 반영하고, 재배포 전에 결제 테스트 통과를 필수로 함 | 개발 | 재배포 전 |
| P1 | PG 결제 실패 알림 추가 (예: 카드 결제 실패가 짧은 시간에 연속되면 단톡 알림). 현재 알림은 5xx·응답시간뿐 | 개발 | 11/20(금) |
| P1 | 배포 직후 결제 확인 절차 (1,000원 테스트 결제를 배포 체크리스트에 포함, 가능하면 자동화) | 개발 | 11/20(금) |
| P1 | 장애 대응 순서 문서화: ① 직전 배포·변경 확인 ② 결제 장애 + 직전 배포면 먼저 롤백 ③ 그 후 원인 분석 | 대표 + 개발 | 11/27(금) |
| P2 | 장애 중 고객 공지 기준과 문안 준비 (인지 후 일정 시간 내 "확인 중" 공지) | 운영 매니저 | 11/27(금) |
| P2 | PG 점검 일정을 공용 캘린더에 등록해 기억에 의존하지 않도록 함 | 운영 매니저 | 11/27(금) |
| P2 | health 점검에 결제 경로 포함 검토, 영업시간 중 배포 기준(배포 후 결제 확인 담당 지정) 마련 | 개발 | 12월 중 |
8. 교훈
- "표시만 바꾸는 수정"도 결제에는 영향을 줄 수 있다. 돈이 오가는 경로는 변경 크기와 상관없이 테스트 대상이다.
- 서버가 정상이어도 결제가 정상이라는 뜻은 아니다. 매출에 직결되는 결과(결제 성공/실패)를 직접 감시해야 한다.
- 장애가 나면 가장 먼저 "방금 뭘 바꿨나"를 본다. 이번 장애는 배포 3분 뒤 시작됐고 롤백 한 번으로 해결됐다.
- 고객은 우리보다 먼저 장애를 알았다. 알림과 고객 공지 절차를 갖추면 같은 문제를 더 빨리, 더 적은 피해로 넘길 수 있다.
9. 확인되지 않은 사항
- 실제 소스 코드와 배포 전 테스트·리뷰 여부 (자료에 기록 없음. "기록 없음"이지 "하지 않음"의 증명은 아님)
- 실패 건의 PG 측 처리 결과 (이중 청구 여부)
- 미복구 고객이 다른 경로로 구매했는지, 장애로 이탈했는지
- 장애 시간대 결제 화면에 접속했다가 시도 없이 이탈한 방문자 수 (주문 기록에 남지 않음)
부록: 참고 자료
단톡방 대화(11/13), 서버 기록(UTC), 주문 내역(11/13), 알림 설정(2025-03 작성), 한빛페이 정기 점검 공지