장애 경위서: 카드 결제 전면 실패 (2026-11-13)
작성일: 2026-11-14 | 대상: 대표님, 투자자 | 상태: 초안 (제공된 자료만으로 작성) | 심각도: SEV2 영향 시간: 약 1시간 (18:45 첫 실패 ~ 19:45 마지막 실패, 한국시간) | 원인: 11/13 18:41 배포(v2.14)
모든 시각은 한국시간(KST) 입니다. 서버 기록은 UTC로 남아 있어 +9시간으로 환산했습니다.
1. 요약
11월 13일(금) 저녁, 카드 결제가 약 1시간 동안 전부 실패했습니다. 원인은 같은 날 18:41에 반영한 변경(v2.14, 금액 표시에 천 단위 쉼표를 넣는 작업)이었습니다. 이 변경으로 화면 표시용 형식(14,800)이 카드사 결제 시스템(PG)에도 그대로 전달됐고, PG가 이를 올바르지 않은 금액으로 거절했습니다. 19:44에 이전 버전(v2.13)으로 되돌렸고, 19:52 첫 정상 카드 결제로 복구를 확인했습니다. 무통장입금은 영향이 없었습니다.
이번 장애는 한 사람의 실수라기보다, 결제 거절을 감지하는 장치가 없었던 점과 배포 후 실제 결제 확인 절차가 없었던 점이 겹쳐 길어진 것으로 봅니다. 자세한 내용은 5~6장에 있습니다.
2. 영향
| 항목 | 내용 |
|---|---|
| 영향 범위 | 카드 결제 100% 실패. 무통장입금은 정상 (해당 시간대 2건 접수) |
| 노출 시간 | 배포 완료 18:41:52 ~ 롤백 완료 19:46:58, 약 65분 |
| 실패한 고객 주문 | 21건, 16명 (같은 고객의 재시도 포함), 주문 금액 합계 406,100원 |
| 실패한 직원 테스트 | 3건 (고객 주문 아님, 위 수치에서 제외) |
| 재주문으로 회복 | 6명, 6건, 124,900원 (주문 메모 "재주문" 기준) |
| 회복 확인 안 된 고객 | 10명. 실패 금액 합계 235,400원 (같은 고객의 중복 시도를 한 번만 세면 198,600원) |
- 실제 매출 손실은 위 "회복 확인 안 된" 금액이 상한입니다. 이 10명이 다른 경로로 구매했는지는 자료에 없습니다.
- 카드 승인 기록은 모두 거절(
FAIL)이라 고객 카드가 청구된 정황은 없습니다. 다만 고객 측 결제 내역은 이번 자료로 확인하지 못했습니다. - 평소 같은 시간대 흐름과의 비교는 자료가 없어 하지 못했습니다. 배포 전 18:02~18:38에는 카드 주문 7건이 모두 성공했습니다.
- 고객 문의는 고객센터 전화 1건과 인스타그램 DM 2건이 단톡에 기록돼 있습니다.
3. 타임라인 (KST)
| 시각 | 사건 | 출처 |
|---|---|---|
| 18:02~18:38 | 카드 주문 7건 모두 정상 | 주문내역, 서버기록 |
| 18:35 | 개발 담당이 "금액 표시 쉼표 통일" 작업을 오늘 배포하겠다고 공지. "작은 수정"으로 판단 | 단톡 |
| 18:41 | v2.14 배포 시작 (18:41:52 완료. 단톡상 18:42 "배포 끝") | 서버기록 |
| 18:45 | 첫 결제 실패. INVALID_AMOUNT, 전송 금액 "14,800" (쉼표 포함 문자열) |
서버기록 |
| 18:45~19:02 | 실패 연속 발생 (약 9건). 알림 없음 | 서버기록 |
| 19:02 | 고객센터에 "카드 결제 안 된다" 전화. 최초 인지 (첫 실패 후 17분) | 단톡 |
| 19:04 | 인스타 DM 2건 "결제 오류" | 단톡 |
| 19:06~19:07 | 대표님 문의로 무통장입금은 정상임을 확인 | 단톡 |
| 19:09~19:11 | 직원이 1,000원 테스트 결제, 실패 ("결제 금액 오류") | 단톡, 주문내역 |
| 19:14 | 개발 담당: "서버는 멀쩡, 알림도 없음. PG 점검일 수도" (가설) | 단톡 |
| 19:15 | 시스템이 PG 상태를 점검: 점검 없음 | 서버기록 |
| 19:20 | 대표님 지시로 PG사 문의 | 단톡 |
| 19:31 | PG 콜센터: 현재 점검 없음 → PG 원인 배제 | 단톡 |
| 19:35 | 원인 특정: 로그에서 금액이 "12,500"처럼 쉼표 포함으로 전송됨을 확인, 오늘 배포와 연결 (첫 실패 후 50분) |
단톡 |
| 19:44 | 롤백 시작 (v2.13) | 서버기록, 단톡 |
| 19:44~19:45 | 롤백 완료 직전 들어온 주문 2건도 실패 (마지막 실패 19:45) | 서버기록 |
| 19:46:58 | 롤백 완료 (단톡상 19:47 "롤백 끝, 테스트 결제 성공") | 서버기록, 단톡 |
| 19:50 | 인스타그램에 "결제 오류 해결" 공지 | 단톡 |
| 19:52 | 첫 정상 카드 결제 (고객 재주문). 이후 실패 없음 | 서버기록, 주문내역 |
| 20:30 | 대표님이 경위서 작성 요청 | 단톡 |
핵심 구간: 발생 → 인지 17분, 인지 → 원인 특정 33분, 원인 특정 → 롤백 완료 12분.
4. 근본 원인
v2.14의 목적은 화면에 보이는 금액에 쉼표를 넣는 것이었습니다. 그런데 쉼표가 붙은 값이 화면 표시에만 쓰이지 않고 PG로 보내는 결제 요청의 금액에도 쓰였고, PG는 숫자가 아닌 "14,800"을 거절했습니다. 배포 전 로그에는 sent_amount=14800처럼 숫자였고, 배포 후 sent_amount="14,800"으로 바뀐 것이 확인됩니다.
참고로 PG사의 점검 공지는 11/15(일) 02:00~04:00 건으로, 이번 장애와 무관합니다.
장애 자체는 이 변경 하나로 설명되지만, 1시간 가까이 이어진 것은 아래 두 가지 때문입니다.
- 거절을 감지하는 알림이 없었다. 알림 설정(2025-03 작성)은 서버 오류(5xx) 비율 5% 초과와 응답 시간 3초 초과만 대상으로 하고, PG 결제 결과 코드는 알림 대상에서 제외돼 있습니다. 이번 장애에서 서버는 정상 응답(
http=200)을 했고 결제 결과만FAIL이었기 때문에 알림이 한 건도 울리지 않았습니다. 고객 전화가 첫 신호였습니다. - 배포 직후 실제 결제를 확인하는 절차가 없었다. 배포 후 실제 결제를 한 번만 해봤어도 몇 분 안에 발견할 수 있었습니다. 첫 테스트 결제는 배포 후 28분이 지난 19:09에 고객 신고를 받고서야 이뤄졌습니다.
5 Whys
- 왜 카드 결제가 실패했나? → PG에 금액이
"14,800"(쉼표 포함 문자열)로 전달돼INVALID_AMOUNT로 거절됐다. - 왜 쉼표 포함 금액이 전달됐나? → 금액 표시 형식 통일 변경(v2.14)이 결제 요청 금액에도 영향을 줬다. (정확히 어느 코드 경로인지는 자료에 없음)
- 왜 배포 전에 걸러지지 않았나? → "작은 수정"으로 판단돼 결제 흐름을 별도로 확인하지 않은 것으로 보인다. 배포 전 자동 테스트나 확인 절차가 있었는지는 자료에 없다.
- 왜 1시간 가까이 이어졌나? → 결제 거절을 알리는 모니터링이 없어 고객 신고(19:02)로 알게 됐고, 처음엔 PG 점검 가설(19:14)부터 확인하느라 원인 특정(19:35)이 늦어졌다.
- 왜 모니터링에 없었나? → 알림 기준이 서버 오류율과 응답 시간뿐이고 결제 성공/실패율은 감시 대상이 아니었다. 서버가 정상이어도 결제가 전부 실패할 수 있다는 점이 설계에 반영되지 않았다.
5. 잘된 점
- 롤백 결정이 빨랐다. 원인 특정 후 9분 만에 롤백을 시작해 12분 만에 복구했습니다.
- 무통장입금은 계속 받았고, 대표님이 초기에 이를 확인해 영향 범위를 빠르게 좁혔습니다.
- PG 점검 가설을 PG사 확인으로 신속히 배제해 원인 탐색이 한 방향으로 모였습니다.
- 직원이 직접 테스트 결제를 해서 증상을 재현했고, 복구 후 고객 공지(인스타그램)도 3분 안에 올렸습니다.
- 서버 로그에 요청 금액 원문이 남아 있어 원인을 로그만으로 확정할 수 있었습니다.
6. 아쉬운 점
- 결제 거절이 알림 대상이 아니어서 인지가 고객 전화에 의존했습니다.
- 평일 저녁 주문이 많은 시간대(금요일 18:41)에 배포했고, 배포 후 결제 확인이 없었습니다.
- "PG 점검일 수도"라는 기억에 의존한 가설이 초기 20분가량을 썼습니다. 점검 일정은 한 곳에서 확인할 수 있어야 합니다.
- 실패한 고객에게 개별 안내가 이뤄졌다는 기록이 없습니다. 인스타그램 공지만 있고, 실패한 10명에 대한 재구매 안내는 확인되지 않습니다.
- 19:47 "테스트 결제 성공"은 단톡에만 있고 서버 기록·주문 내역에는 없습니다. 테스트 결제는 기록이 남게 하는 편이 좋습니다.
7. 재발 방지 조치
담당자와 기한은 자료에 없어 제안으로 적었고, 확정은 대표님과 개발 담당이 정해 주세요.
| 우선순위 | 조치 | 담당 (제안) | 기한 (제안) |
|---|---|---|---|
| P0 | 아직 재주문하지 않은 고객 10명에게 사과와 재구매 안내 (주문번호 SG-5808~5815 중 해당 건, 5816~5828 중 해당 건) | 운영 담당 | 11/16 |
| P0 | PG 결제 실패 알림 추가: 최근 10분 결제 실패율 또는 연속 실패 N건이면 대표·개발 단톡 알림 | 개발 담당 | 11/20 |
| P0 | 결제 요청 금액은 숫자만 보내도록 코드 수정, 표시용 형식과 분리. 재배포 전 "쉼표 금액으로 PG 요청이 나가지 않는다" 자동 테스트 추가 | 개발 담당 | 재배포 전 |
| P1 | 배포 체크리스트: 결제 관련 변경이 아니어도 배포 직후 소액 실제 결제 1건, 결과를 단톡에 기록 | 개발·운영 | 11/20 |
| P1 | 배포 시간 원칙: 결제·주문이 몰리는 저녁·금요일은 피하고, 불가피하면 확인 담당자 지정 | 대표님 결정 | 11/20 |
| P1 | 11/15(일) 02:00~04:00 PG 점검 중 카드 승인이 중단되므로 사이트 공지 및 점검 시간 중 결제 안내 | 운영 담당 | 11/14 중 |
| P2 | PG 점검 일정을 단톡 공지·캘린더에 등록 | 운영 담당 | 11/20 |
| P2 | 알림 설정(2025-03) 정기 점검: 서버 지표 외에 비즈니스 지표(결제 성공률, 주문 수) 포함 | 개발 담당 | 12월 |
| P2 | 서버 로그를 한국시간으로 보거나 UTC 병기 (이번 정리 시 환산 필요했음) | 개발 담당 | 12월 |
8. 배운 점
- 서버가 정상이어도 결제가 실패할 수 있습니다. 서버 지표만으로는 "결제가 되는가"를 알 수 없으므로 결제 성공률을 직접 감시해야 합니다.
- 작은 수정도 결제 경로를 건드릴 수 있습니다. 변경 크기가 아니라 무엇을 건드리는가로 확인 수준을 정해야 합니다.
- 이번 장애는 롤백 한 번으로 해결될 만큼 대응 수단은 있었습니다. 늦어진 것은 감지였고, 감지를 자동화하면 1시간 장애를 몇 분으로 줄일 수 있었습니다.
9. 이 문서의 한계
- 제공된 자료(단톡, 서버 기록, 주문 내역, 알림 설정, PG 공지)만으로 작성했고 추가 확인은 하지 못했습니다.
- 확인하지 못한 것: 쉼표가 결제 요청까지 간 구체적 코드 경로, 배포 전 테스트·검토 절차의 존재 여부, 실패 고객의 실제 이탈 여부, 고객 카드 청구 여부, 19:47 테스트 결제 기록.
- 서버 기록상 배포 실행 주체는
ci(자동 배포)로 남아 있습니다. - 고객 개인정보 보호를 위해 이 문서에는 고객 이름 없이 건수와 주문번호만 적었습니다.