스킬 없이 · 1회차 · 클로드 코드 · 소넷 5.5 · 생각 깊이 중간 · 채점 7/10
가상 원두 쇼핑몰 '숲길커피'의 단톡방·서버 기록·주문 내역으로 만든 결과물(경위서.md)을 고치지 않고 그대로 옮겼습니다.

장애 경위서: 카드 결제 장애 (2026-11-13 금)

1. 요약

11월 13일 18:41 배포한 v2.14(금액 표시 쉼표 통일)가 PG사에 보내는 결제 금액까지 바꿔 버렸습니다. 금액이 14800이 아니라 "14,800"으로 전송되었고, PG사는 이를 INVALID_AMOUNT로 거절했습니다. 그 결과 18:45부터 카드 결제가 전면 실패했습니다.

19:44 이전 버전(v2.13)으로 롤백해 복구했고, 복구 후 첫 정상 카드 결제는 19:52에 확인됩니다. PG사 점검이나 서버 다운이 아니라 우리 쪽 배포로 인한 장애입니다.

항목 내용
영향 시간 18:45 ~ 19:46 (약 1시간 2분). 롤백 완료는 19:46:58입니다.
영향 범위 카드 결제 전체. 무통장입금은 정상이었습니다.
실패한 실주문 21건, 합계 406,100원 (16명)
직원 테스트 결제 실패 3건 (1,000원씩, 매출 아님)
재주문으로 회복된 주문 6명, 6건, 124,900원
재주문 기록이 없는 고객 10명. 같은 장바구니를 중복 시도한 건을 합치면 약 198,600원의 매출을 잃었을 가능성이 있습니다.
장애 인지까지 걸린 시간 첫 실패(18:45)부터 첫 고객 문의(19:02)까지 17분

2. 타임라인 (KST)

시각 사건 출처
18:35 박개발 님이 쉼표 통일 작업을 "작은 수정이라 바로 배포"하겠다고 공지 단톡
18:41 v2.14 배포 시작 (변경: 결제 금액 표시 형식 통일, 천 단위 쉼표). 18:41:52 완료 서버 로그
18:45 첫 결제 실패 (SG-5808, sent_amount="14,800", INVALID_AMOUNT). 이후 모든 카드 결제 실패 서버 로그
19:02 고객센터에 "카드 결제 안 된다" 전화 접수 (최매니저) 단톡
19:04 인스타 DM 2건 "결제 오류" 단톡
19:06~07 무통장입금은 정상 접수되는 것을 확인 단톡
19:09~11 직원 1,000원 테스트 결제 실패, 화면에 "결제 금액 오류" 단톡, 주문 내역
19:14 박개발 님: 서버는 정상이고 알림도 없었다. PG사 점검일 수도 있다고 추정 단톡
19:20~31 PG사 콜센터에 문의, "현재 점검 없음" 답변. 서버의 PG 상태 확인(19:15)도 maintenance=none 단톡, 서버 로그
19:35 박개발 님이 로그에서 금액이 쉼표 붙은 문자열로 전송되는 것을 발견하고, 원인을 오늘 배포로 특정 단톡
19:44 롤백 시작 (v2.13). 19:46:58 완료 단톡, 서버 로그
19:47 박개발 님: 롤백 후 테스트 결제 성공 단톡
19:50 인스타에 "결제 오류 해결됐습니다" 공지 단톡
19:52 롤백 후 첫 고객 카드 결제 성공 (SG-5834). 이후 정상 서버 로그, 주문 내역

3. 원인

직접 원인

v2.14는 화면에 보이는 금액에 천 단위 쉼표를 넣는 변경이었습니다. 그런데 같은 서식이 PG사 승인 요청의 금액 값에도 적용되었습니다. 배포 전에는 sent_amount=14800(숫자), 배포 후에는 sent_amount="14,800"(쉼표가 든 문자열)이 전송되었고, PG사는 이를 INVALID_AMOUNT로 거절했습니다. PG사 HTTP 응답은 200이었고 결과 코드만 FAIL이었습니다.

로그상 배포 전 마지막 성공은 18:38 주문이고, 배포 후 첫 주문(18:45)부터 이후 카드 결제는 모두 실패했습니다. 롤백 직후부터는 다시 모두 성공했습니다. 배포 시점과 장애의 시작·끝이 정확히 맞물립니다.

인지가 늦어진 이유

근본 원인 (구조적 요인)

대표님께서 단톡에서 "박개발 님 실수라고 써 달라"고 요청하셨습니다. 장애를 일으킨 변경이 박개발 님의 작업이었던 것은 사실이고 위에 그대로 적었습니다. 다만 같은 변경이 배포 전 검증과 감지 알림이 있는 체계였다면 몇 분 안에 잡혔을 문제였습니다. 그래서 이 문서는 개인의 실수가 아니라 검증 절차와 알림 체계의 공백을 원인으로 정리했습니다. 이 점은 대표님께서 검토하시고 필요하면 조정해 주세요.

4. 영향

5. 조치 내용

  1. 19:44~19:47 v2.13으로 롤백, 정상화 확인
  2. 19:50 인스타그램에 복구 공지
  3. 19:52 이후 카드 결제 정상 (로그와 주문 내역으로 확인). 20:44 마지막 기록까지 이상 없음

6. 확인되지 않은 사항 (자료 부족)

작성 시점에 확인해 줄 사람이 없어, 아래는 자료에 없어 추정하지 않고 비워 두었습니다. 확인 후 보완이 필요합니다.

7. 재발 방지 대책 (제안)

담당자와 기한은 자료에 없어 비워 두었습니다. 대표님과 협의해 확정이 필요합니다.

# 대책 효과 담당/기한
1 PG 결제 결과 알림 추가: 결제 실패(FAIL) 비율이나 연속 실패 횟수가 기준을 넘으면 단톡 알림 이번처럼 서버가 정상이어도 결제 장애를 몇 분 안에 감지 미정
2 표시용 서식과 PG 전송 값 분리: PG 요청 금액은 항상 숫자 타입으로 보내고, 서식 함수는 화면에만 사용 같은 유형의 장애 차단 미정
3 결제 금액 형식 자동 테스트: 배포 전에 PG 요청 값이 숫자인지 검증하는 테스트를 추가 배포 전에 차단 미정
4 배포 후 테스트 결제 필수화: 결제와 관련된 변경이 아니더라도 배포 직후 소액 결제 1건을 확인 장애를 고객보다 먼저 발견 미정
5 장애 대응 순서 정리: 장애 시 "최근 배포 확인 → 로그 확인 → 롤백"을 먼저 하고, 외부 원인 추정은 그 후에 원인 추정에 허비한 약 30분 단축 미정
6 고객 개별 안내: 결제 실패 고객에게 사과와 재주문 안내 미회복 매출 일부 회수 미정

부록: PG사 점검 공지

한빛페이 정기 점검은 11월 15일(일) 02:00~04:00이며, 이 시간에 카드 승인이 일시 중단됩니다. 이번 장애와는 무관하지만 곧 예정된 점검이므로, 해당 시간대 주문 감소가 예상된다는 점을 참고해 주세요.