incident-response 스킬 · 2회차 · 클로드 코드 · 소넷 5.5 · 생각 깊이 중간 · 채점 10/10
가상 원두 쇼핑몰 '숲길커피'의 단톡방·서버 기록·주문 내역으로 만든 결과물(경위서.md)을 고치지 않고 그대로 옮겼습니다.

장애 경위서: 카드 결제 장애 (2026-11-13 금)

대상 서비스: 숲길커피 쇼핑몰 | 장애 시간: 18:45 ~ 19:47 (약 1시간 2분) | 등급: SEV2 작성일: 2026-11-14 | 상태: 초안 (제공된 자료만으로 작성, 담당자 확인 전) 공유 대상: 대표, 투자자

시각은 모두 한국 시간(KST) 입니다. 서버 기록은 UTC(= KST − 9시간)로 남아 있어 변환했습니다. 이 경위서는 개인의 잘잘못이 아니라 어떤 장치가 없어서 문제가 커졌는지를 기준으로 서술합니다.


1. 요약

11월 13일 18:42에 배포된 "금액 천 단위 쉼표 표시" 수정이 화면 표시뿐 아니라 카드사(PG)로 보내는 결제 금액에도 적용되어, 금액이 12500이 아닌 "12,500"으로 전달되었습니다. PG가 이를 잘못된 금액(INVALID_AMOUNT)으로 거절해, 18:45부터 19:47까지 카드 결제가 전부 실패했습니다. 문제는 모니터링이 아니라 고객 문의 전화(19:02) 로 처음 알려졌고, 원인 파악 후 이전 버전으로 되돌려(롤백) 복구했습니다. 무통장입금은 장애 내내 정상이었습니다.

PG사 장애나 점검은 원인이 아니었습니다.

2. 영향

항목 내용
영향 범위 카드 결제 100% 실패 (무통장입금은 정상)
지속 시간 18:45:22 첫 실패 ~ 19:46:58 롤백 완료 (약 1시간 2분)
실패한 고객 주문 21건 / 16명, 시도 금액 합계 406,100원 (직원 테스트 결제 3건 제외)
이후 재주문으로 복구된 매출 6명 / 6건 / 124,900원 (재주문 표시가 있는 주문 기준)
복구되지 않은 고객 10명 / 실패 12건, 최대 235,400원 (같은 고객의 재시도 중복 포함. 중복 제외 약 198,600원)
같은 시간대 무통장 주문 2건 (입금 대기)

3. 타임라인 (KST)

시각 사건 출처
18:35 금액 표시 쉼표 통일 작업을 "작은 수정이라 바로 배포"하겠다고 공유 단톡
18:41:10 ~ 18:41:52 v2.14 배포 (변경 내용: 결제 금액 표시 형식 통일, 천 단위 쉼표). CI로 배포됨 서버
18:42 배포 완료 보고 단톡
18:45:22 첫 카드 결제 실패 (INVALID_AMOUNT, 전송 금액 "14,800"). 배포 후 약 3분 만에 시작 서버
18:45 ~ 19:01 카드 결제 실패 8건 연속 발생. 알림 없음 서버·주문
19:02 고객센터 전화로 "카드 결제가 안 된다"는 첫 신고 (최초 인지, 장애 시작 후 17분) 단톡
19:04 인스타그램 DM 2건 ("결제 오류 떠요") 단톡
19:06 ~ 19:07 무통장입금은 정상 주문 확인 단톡
19:09 ~ 19:11 직원이 1,000원 테스트 결제 → 실패, 화면에 "결제 금액 오류" 단톡·서버
19:14 개발 담당: "서버는 정상이고 알림도 없다. PG 점검일 수도 있다"고 판단 단톡
19:15 시스템의 PG 상태 확인에서 "점검 없음" 기록 서버
19:20 대표 지시로 PG사 문의 결정 단톡
19:31 PG 콜센터 회신: 현재 점검 없음 단톡
19:35 로그에서 금액이 "12,500"처럼 쉼표가 붙어 전송되는 것을 발견, 당일 배포를 원인으로 지목 (원인 파악) 단톡
19:44 롤백 시작 (v2.13으로) 서버·단톡
19:44 ~ 19:45 롤백 진행 중 카드 결제 2건 추가 실패 (마지막 실패 19:45:38) 서버
19:46:58 롤백 완료. 19:47 서버 정상 확인, 개발 담당이 테스트 결제 성공 보고 서버·단톡
19:50 인스타그램에 "결제 오류 해결" 공지 단톡
19:52 이후 첫 고객 카드 결제 성공 (이후 정상 승인 지속) 서버·주문
20:30 대표가 경위서 작성 지시 단톡

핵심 구간: 장애 시작 → 인지 17분, 인지 → 원인 파악 33분, 원인 파악 → 롤백 완료 약 12분. 인지부터 복구까지는 약 45분입니다.

4. 원인

직접 원인: v2.14의 쉼표 표시 변경이 PG 전송 금액에도 적용되어, 숫자(12500) 대신 쉼표가 든 문자열("12,500")이 PG로 전송됨. PG는 정상 응답(HTTP 200)으로 INVALID_AMOUNT 거절을 반환함.

근거 (서버 기록):

한계: 실제 소스 코드는 확인하지 못했습니다. 위 내용은 서버 기록과 단톡 대화에서 도출한 결론입니다.

5 Whys

  1. 왜 카드 결제가 실패했나? → PG에 쉼표가 든 문자열 금액이 전송되어 PG가 거절했다.
  2. 왜 쉼표 금액이 전송되었나? → "표시 형식 통일" 변경이 화면용 값과 PG 전송용 값을 구분하지 않고 적용된 것으로 보인다.
  3. 왜 배포 전에 걸러지지 않았나? → 화면 표시만 바꾸는 "작은 수정"으로 분류되어 바로 배포되었고, 배포 경로에 결제 테스트 단계가 없었다(자료에서 사전 결제 테스트·리뷰 기록은 확인되지 않음).
  4. 왜 배포 직후 감지되지 못했나? → 알림 설정(2025-03 작성)은 서버 5xx 비율과 응답 시간만 대상이고 PG 결제 결과 코드는 대상이 아니다. PG 거절이 HTTP 200으로 돌아와 서버는 "정상"으로 보였다.
  5. 왜 복구가 늦어졌나? → 장애 때 "직전 배포부터 확인한다"는 절차가 없어, PG 점검 여부 확인(전화 포함)을 먼저 했다. 근거는 "이번 주에 점검 공지가 있었던 것 같다"는 기억이었는데, 실제 점검 공지는 11월 15일(일) 02:00~04:00로 이번 장애와 무관했다.

근본 원인: 결제가 실제로 되는지를 확인하는 장치가 배포 전(결제 테스트)에도, 배포 후(결제 실패 알림)에도 없었고, 장애 대응 순서(직전 변경 확인, 롤백 기준)가 정해져 있지 않았다.

5. 잘한 점

6. 아쉬운 점

7. 후속 조치 (제안)

자료만으로는 담당자와 일정을 확정할 수 없어 역할 기준 제안으로 적었습니다. 확정이 필요합니다.

우선순위 조치 제안 담당 제안 기한
P0 11/15(일) 02:00~04:00 PG 정기 점검 때 카드 승인이 중단됩니다. 이번 장애와 혼동되지 않도록 고객에게 사전 공지 운영 매니저 11/14(토) 중
P0 복구되지 않은 고객 10명에게 개별 안내·사과 (보상 여부는 대표 판단) 운영 매니저 / 대표 11/16(월)
P0 PG 정산 내역과 대조해 실패 21건에 승인·이중 청구가 없는지 확인 운영 매니저 + 개발 11/16(월)
P0 쉼표 표시 변경은 롤백된 상태(미반영). PG 전송 금액은 숫자로 분리해 다시 반영하고, 재배포 전에 결제 테스트 통과를 필수로 함 개발 재배포 전
P1 PG 결제 실패 알림 추가 (예: 카드 결제 실패가 짧은 시간에 연속되면 단톡 알림). 현재 알림은 5xx·응답시간뿐 개발 11/20(금)
P1 배포 직후 결제 확인 절차 (1,000원 테스트 결제를 배포 체크리스트에 포함, 가능하면 자동화) 개발 11/20(금)
P1 장애 대응 순서 문서화: ① 직전 배포·변경 확인 ② 결제 장애 + 직전 배포면 먼저 롤백 ③ 그 후 원인 분석 대표 + 개발 11/27(금)
P2 장애 중 고객 공지 기준과 문안 준비 (인지 후 일정 시간 내 "확인 중" 공지) 운영 매니저 11/27(금)
P2 PG 점검 일정을 공용 캘린더에 등록해 기억에 의존하지 않도록 함 운영 매니저 11/27(금)
P2 health 점검에 결제 경로 포함 검토, 영업시간 중 배포 기준(배포 후 결제 확인 담당 지정) 마련 개발 12월 중

8. 교훈

  1. "표시만 바꾸는 수정"도 결제에는 영향을 줄 수 있다. 돈이 오가는 경로는 변경 크기와 상관없이 테스트 대상이다.
  2. 서버가 정상이어도 결제가 정상이라는 뜻은 아니다. 매출에 직결되는 결과(결제 성공/실패)를 직접 감시해야 한다.
  3. 장애가 나면 가장 먼저 "방금 뭘 바꿨나"를 본다. 이번 장애는 배포 3분 뒤 시작됐고 롤백 한 번으로 해결됐다.
  4. 고객은 우리보다 먼저 장애를 알았다. 알림과 고객 공지 절차를 갖추면 같은 문제를 더 빨리, 더 적은 피해로 넘길 수 있다.

9. 확인되지 않은 사항

부록: 참고 자료

단톡방 대화(11/13), 서버 기록(UTC), 주문 내역(11/13), 알림 설정(2025-03 작성), 한빛페이 정기 점검 공지