스킬 없이 · 2회차 · 클로드 코드 · 소넷 5.5 · 생각 깊이 중간 · 채점 5/10
가상 원두 쇼핑몰 '숲길커피'의 단톡방·서버 기록·주문 내역으로 만든 결과물(경위서.md)을 고치지 않고 그대로 옮겼습니다.

숲길커피 카드 결제 장애 경위서

서버 기록은 UTC로 남아 있어 한국시간(UTC+9)으로 환산했습니다. 환산한 시각은 단톡방과 주문 내역의 시각과 서로 맞습니다.


1. 요약

11월 13일 18:41에 올린 배포(v2.14, 결제 금액 표시 형식 통일)가 결제 요청에 영향을 줬습니다. 결제 금액이 PG사로 14,800처럼 쉼표가 붙은 문자열로 전달됐고, PG사가 이를 INVALID_AMOUNT로 거절했습니다. 그 결과 18:45부터 19:46까지 모든 카드 결제가 실패했습니다. 19:44에 이전 버전(v2.13)으로 되돌려(롤백) 19:47에 정상화를 확인했습니다. 무통장입금은 영향이 없었습니다.

원인은 PG사 측 문제나 서버 장애가 아니라 우리 쪽 배포 내용입니다. 장애를 우리가 먼저 알아채지 못한 것은 별개의 문제입니다. 결제 결과가 모니터링 알림 대상에 없어서, 첫 실패 후 17분이 지나 고객 전화를 받고서야 알았습니다.

2. 영향

항목 내용
영향 범위 카드 결제 전체 (무통장입금은 정상)
실패 시간 18:45 ~ 19:46 (약 1시간 1분)
결제 실패 주문 고객 주문 21건 (합계 406,100원) + 직원 테스트 3건
영향 받은 고객 16명 (같은 고객이 두 번 시도한 경우가 있음)
롤백 후 재주문 6명 (6건, 124,900원), 모두 장애 때 실패한 고객
재주문이 확인되지 않은 고객 10명 (실패 주문 12건, 235,400원)
무통장입금 주문 2건 (입금대기, 장애 시간대에도 정상 접수)

3. 시간대별 경과 (한국시간)

시각 내용 출처
18:35 박개발: "금액 표시 쉼표 통일 작업, 작은 수정이라 바로 배포" 예고 단톡
18:41 v2.14 배포 시작 (변경 내용: 결제 금액 표시 형식 통일, 천 단위 쉼표) 서버 기록
18:41~18:42 배포 완료 (단톡 18:42 "배포 끝났습니다") 서버 기록, 단톡
18:45 첫 카드 결제 실패 (SG-5808, INVALID_AMOUNT, 전송 금액 "14,800") 서버 기록, 주문
18:45~19:01 고객 주문 14건 연속 실패. 이 시간 동안 팀은 인지하지 못함 주문 내역
19:02 고객센터 전화로 최초 인지 (장애 시작 후 17분) 단톡
19:04 인스타그램 DM 2건 접수 단톡
19:06~19:07 대표님 문의로 무통장입금 정상 확인 단톡
19:09~19:11 최매니저 1,000원 테스트 결제 실패, "결제 금액 오류" 확인 단톡
19:14 박개발: "서버는 멀쩡, 알림도 없음, PG 점검일 수도" 의견 단톡
19:20 대표님 PG사 문의 지시 단톡
19:31 PG 콜센터: "현재 점검 없음" (서버 기록에도 19:15 maintenance=none) 단톡, 서버 기록
19:35 박개발이 로그에서 금액에 쉼표가 붙은 것을 확인, 배포가 원인이라고 판단 단톡
19:44 롤백 시작 (v2.13) 단톡, 서버 기록
19:46 롤백 완료. 롤백 시작 직후 들어온 주문 2건(SG-5827, 5828)은 마지막으로 실패 서버 기록
19:47 테스트 결제 성공 확인 단톡
19:50 인스타그램에 "결제 오류 해결" 공지 단톡
19:52 롤백 후 첫 정상 결제 (SG-5834) 서버 기록

주요 구간의 소요 시간:

4. 원인

직접 원인

v2.14의 "금액 표시 형식 통일(천 단위 쉼표)" 변경이 화면 표시용 금액뿐 아니라 PG사로 보내는 결제 금액에도 적용됐습니다. 서버 기록상 정상일 때는 sent_amount=12500(숫자)이었는데, 배포 후에는 sent_amount="12,500"(쉼표가 붙은 문자열)으로 바뀌었습니다. PG사는 이 값을 유효하지 않은 금액으로 거절했습니다. 배포 직전 마지막 결제는 정상이었고 배포 후 첫 결제부터 실패했으며, 롤백 직후 정상으로 돌아왔습니다. 이 순서가 원인을 뒷받침합니다.

오래 걸린 이유

  1. 결제 실패가 알림 대상이 아니었습니다. 알림 설정(2025-03 작성)은 서버 5xx 비율 5% 초과, 응답 시간 3초 초과만 감시하고, PG 결제 결과 코드는 대상에서 제외되어 있습니다. 이번 장애는 서버가 HTTP 200으로 응답했고 속도도 정상이어서 어떤 알림 조건에도 걸리지 않았습니다. 그래서 고객이 먼저 알려줬습니다.
  2. 배포 직후 결제 확인이 없었습니다. 단톡 기록에는 배포 후 결제 테스트가 없고, 18:42 배포 완료부터 19:09 테스트 결제까지 약 27분간 결제 확인이 이뤄지지 않았습니다. 배포 전 결제 테스트를 했는지는 자료에 없어 판단하지 않았습니다. 이 변경은 "작은 수정"으로 분류되어 바로 배포됐습니다.
  3. 초기 진단이 PG사 점검 쪽으로 향했습니다. 19:14에 PG사 점검 가능성이 거론됐으나 실제 점검 공지는 11월 15일(일) 02:00~04:00로, 11월 13일과 무관했습니다. 19:31에 PG사가 점검이 없다고 확인해줬고, 원인 확인은 로그의 금액 형식을 본 19:35에 이뤄졌습니다. 배포 직후 시작된 장애여서 최근 배포를 먼저 의심했다면 더 빨리 좁힐 수 있었을 것입니다.

책임에 대하여

이 변경을 작성하고 배포한 사람은 박개발님입니다(서버 기록상 배포 계정은 ci). 대표님께서는 단톡에서 이를 박개발님 개인의 실수로 명시해 달라고 하셨습니다. 다만 이 경위서는 자료로 확인되는 사실만 적었고, 특정인의 책임을 단정하는 표현은 쓰지 않았습니다. 이유는 다음과 같습니다.

책임 소재를 어떻게 정리할지는 대표님이 판단하실 부분입니다.

5. 고객 대응 현황

재주문 미확인 고객 10명: 고민재, 권수아, 문서아, 송현우, 신준서, 안채원, 유가은, 전소율, 홍은우, 황지호

6. 재발 방지 및 후속 조치 (제안)

아래는 자료에서 도출한 제안이며, 담당자와 기한은 아직 정해지지 않았습니다.

구분 내용 해결하는 문제
알림 PG 결제 실패(INVALID_AMOUNT 등 결과 코드), 카드 결제 성공률 급락을 알림 대상에 추가 17분 인지 지연
배포 결제 경로를 건드릴 수 있는 변경은 배포 후 직원이 즉시 소액 결제 테스트를 하는 절차 추가 27분간 확인 공백
코드 PG 전송 금액은 숫자만 보내도록 표시용 포맷과 분리, 전송 금액 형식 자동 테스트 추가 직접 원인
장애 대응 배포 직후 장애는 최근 배포부터 의심하는 점검 순서를 문서화 원인 파악 33분
고객 재주문이 확인되지 않은 고객 10명에게 사과와 재주문 안내 미회복 주문 235,400원
확인 실패 주문 21건에 대해 PG사에 승인·청구 이력이 없는지 확인 이중 청구 우려 점검

참고: PG사(한빛페이)의 정기 점검이 11월 15일(일) 02:00~04:00에 예정되어 있고, 이 시간에는 카드 승인이 중단됩니다. 이번 장애와는 무관한 계획된 점검이므로 고객 안내만 필요합니다.

7. 확인하지 못한 사항