incident-response 스킬 · 1회차 · 클로드 코드 · 소넷 5.5 · 생각 깊이 중간 · 채점 10/10
가상 원두 쇼핑몰 '숲길커피'의 단톡방·서버 기록·주문 내역으로 만든 결과물(경위서.md)을 고치지 않고 그대로 옮겼습니다.

장애 경위서: 카드 결제 전면 실패 (2026-11-13)

작성일: 2026-11-14 | 대상: 대표님, 투자자 | 상태: 초안 (제공된 자료만으로 작성) | 심각도: SEV2 영향 시간: 약 1시간 (18:45 첫 실패 ~ 19:45 마지막 실패, 한국시간) | 원인: 11/13 18:41 배포(v2.14)

모든 시각은 한국시간(KST) 입니다. 서버 기록은 UTC로 남아 있어 +9시간으로 환산했습니다.


1. 요약

11월 13일(금) 저녁, 카드 결제가 약 1시간 동안 전부 실패했습니다. 원인은 같은 날 18:41에 반영한 변경(v2.14, 금액 표시에 천 단위 쉼표를 넣는 작업)이었습니다. 이 변경으로 화면 표시용 형식(14,800)이 카드사 결제 시스템(PG)에도 그대로 전달됐고, PG가 이를 올바르지 않은 금액으로 거절했습니다. 19:44에 이전 버전(v2.13)으로 되돌렸고, 19:52 첫 정상 카드 결제로 복구를 확인했습니다. 무통장입금은 영향이 없었습니다.

이번 장애는 한 사람의 실수라기보다, 결제 거절을 감지하는 장치가 없었던 점과 배포 후 실제 결제 확인 절차가 없었던 점이 겹쳐 길어진 것으로 봅니다. 자세한 내용은 5~6장에 있습니다.

2. 영향

항목 내용
영향 범위 카드 결제 100% 실패. 무통장입금은 정상 (해당 시간대 2건 접수)
노출 시간 배포 완료 18:41:52 ~ 롤백 완료 19:46:58, 약 65분
실패한 고객 주문 21건, 16명 (같은 고객의 재시도 포함), 주문 금액 합계 406,100원
실패한 직원 테스트 3건 (고객 주문 아님, 위 수치에서 제외)
재주문으로 회복 6명, 6건, 124,900원 (주문 메모 "재주문" 기준)
회복 확인 안 된 고객 10명. 실패 금액 합계 235,400원 (같은 고객의 중복 시도를 한 번만 세면 198,600원)

3. 타임라인 (KST)

시각 사건 출처
18:02~18:38 카드 주문 7건 모두 정상 주문내역, 서버기록
18:35 개발 담당이 "금액 표시 쉼표 통일" 작업을 오늘 배포하겠다고 공지. "작은 수정"으로 판단 단톡
18:41 v2.14 배포 시작 (18:41:52 완료. 단톡상 18:42 "배포 끝") 서버기록
18:45 첫 결제 실패. INVALID_AMOUNT, 전송 금액 "14,800" (쉼표 포함 문자열) 서버기록
18:45~19:02 실패 연속 발생 (약 9건). 알림 없음 서버기록
19:02 고객센터에 "카드 결제 안 된다" 전화. 최초 인지 (첫 실패 후 17분) 단톡
19:04 인스타 DM 2건 "결제 오류" 단톡
19:06~19:07 대표님 문의로 무통장입금은 정상임을 확인 단톡
19:09~19:11 직원이 1,000원 테스트 결제, 실패 ("결제 금액 오류") 단톡, 주문내역
19:14 개발 담당: "서버는 멀쩡, 알림도 없음. PG 점검일 수도" (가설) 단톡
19:15 시스템이 PG 상태를 점검: 점검 없음 서버기록
19:20 대표님 지시로 PG사 문의 단톡
19:31 PG 콜센터: 현재 점검 없음 → PG 원인 배제 단톡
19:35 원인 특정: 로그에서 금액이 "12,500"처럼 쉼표 포함으로 전송됨을 확인, 오늘 배포와 연결 (첫 실패 후 50분) 단톡
19:44 롤백 시작 (v2.13) 서버기록, 단톡
19:44~19:45 롤백 완료 직전 들어온 주문 2건도 실패 (마지막 실패 19:45) 서버기록
19:46:58 롤백 완료 (단톡상 19:47 "롤백 끝, 테스트 결제 성공") 서버기록, 단톡
19:50 인스타그램에 "결제 오류 해결" 공지 단톡
19:52 첫 정상 카드 결제 (고객 재주문). 이후 실패 없음 서버기록, 주문내역
20:30 대표님이 경위서 작성 요청 단톡

핵심 구간: 발생 → 인지 17분, 인지 → 원인 특정 33분, 원인 특정 → 롤백 완료 12분.

4. 근본 원인

v2.14의 목적은 화면에 보이는 금액에 쉼표를 넣는 것이었습니다. 그런데 쉼표가 붙은 값이 화면 표시에만 쓰이지 않고 PG로 보내는 결제 요청의 금액에도 쓰였고, PG는 숫자가 아닌 "14,800"을 거절했습니다. 배포 전 로그에는 sent_amount=14800처럼 숫자였고, 배포 후 sent_amount="14,800"으로 바뀐 것이 확인됩니다.

참고로 PG사의 점검 공지는 11/15(일) 02:00~04:00 건으로, 이번 장애와 무관합니다.

장애 자체는 이 변경 하나로 설명되지만, 1시간 가까이 이어진 것은 아래 두 가지 때문입니다.

  1. 거절을 감지하는 알림이 없었다. 알림 설정(2025-03 작성)은 서버 오류(5xx) 비율 5% 초과와 응답 시간 3초 초과만 대상으로 하고, PG 결제 결과 코드는 알림 대상에서 제외돼 있습니다. 이번 장애에서 서버는 정상 응답(http=200)을 했고 결제 결과만 FAIL이었기 때문에 알림이 한 건도 울리지 않았습니다. 고객 전화가 첫 신호였습니다.
  2. 배포 직후 실제 결제를 확인하는 절차가 없었다. 배포 후 실제 결제를 한 번만 해봤어도 몇 분 안에 발견할 수 있었습니다. 첫 테스트 결제는 배포 후 28분이 지난 19:09에 고객 신고를 받고서야 이뤄졌습니다.

5 Whys

  1. 왜 카드 결제가 실패했나? → PG에 금액이 "14,800"(쉼표 포함 문자열)로 전달돼 INVALID_AMOUNT로 거절됐다.
  2. 왜 쉼표 포함 금액이 전달됐나? → 금액 표시 형식 통일 변경(v2.14)이 결제 요청 금액에도 영향을 줬다. (정확히 어느 코드 경로인지는 자료에 없음)
  3. 왜 배포 전에 걸러지지 않았나? → "작은 수정"으로 판단돼 결제 흐름을 별도로 확인하지 않은 것으로 보인다. 배포 전 자동 테스트나 확인 절차가 있었는지는 자료에 없다.
  4. 왜 1시간 가까이 이어졌나? → 결제 거절을 알리는 모니터링이 없어 고객 신고(19:02)로 알게 됐고, 처음엔 PG 점검 가설(19:14)부터 확인하느라 원인 특정(19:35)이 늦어졌다.
  5. 왜 모니터링에 없었나? → 알림 기준이 서버 오류율과 응답 시간뿐이고 결제 성공/실패율은 감시 대상이 아니었다. 서버가 정상이어도 결제가 전부 실패할 수 있다는 점이 설계에 반영되지 않았다.

5. 잘된 점

6. 아쉬운 점

7. 재발 방지 조치

담당자와 기한은 자료에 없어 제안으로 적었고, 확정은 대표님과 개발 담당이 정해 주세요.

우선순위 조치 담당 (제안) 기한 (제안)
P0 아직 재주문하지 않은 고객 10명에게 사과와 재구매 안내 (주문번호 SG-5808~5815 중 해당 건, 5816~5828 중 해당 건) 운영 담당 11/16
P0 PG 결제 실패 알림 추가: 최근 10분 결제 실패율 또는 연속 실패 N건이면 대표·개발 단톡 알림 개발 담당 11/20
P0 결제 요청 금액은 숫자만 보내도록 코드 수정, 표시용 형식과 분리. 재배포 전 "쉼표 금액으로 PG 요청이 나가지 않는다" 자동 테스트 추가 개발 담당 재배포 전
P1 배포 체크리스트: 결제 관련 변경이 아니어도 배포 직후 소액 실제 결제 1건, 결과를 단톡에 기록 개발·운영 11/20
P1 배포 시간 원칙: 결제·주문이 몰리는 저녁·금요일은 피하고, 불가피하면 확인 담당자 지정 대표님 결정 11/20
P1 11/15(일) 02:00~04:00 PG 점검 중 카드 승인이 중단되므로 사이트 공지 및 점검 시간 중 결제 안내 운영 담당 11/14 중
P2 PG 점검 일정을 단톡 공지·캘린더에 등록 운영 담당 11/20
P2 알림 설정(2025-03) 정기 점검: 서버 지표 외에 비즈니스 지표(결제 성공률, 주문 수) 포함 개발 담당 12월
P2 서버 로그를 한국시간으로 보거나 UTC 병기 (이번 정리 시 환산 필요했음) 개발 담당 12월

8. 배운 점

  1. 서버가 정상이어도 결제가 실패할 수 있습니다. 서버 지표만으로는 "결제가 되는가"를 알 수 없으므로 결제 성공률을 직접 감시해야 합니다.
  2. 작은 수정도 결제 경로를 건드릴 수 있습니다. 변경 크기가 아니라 무엇을 건드리는가로 확인 수준을 정해야 합니다.
  3. 이번 장애는 롤백 한 번으로 해결될 만큼 대응 수단은 있었습니다. 늦어진 것은 감지였고, 감지를 자동화하면 1시간 장애를 몇 분으로 줄일 수 있었습니다.

9. 이 문서의 한계