운영 담당자의 실시간 장애 대응: 시스템 다운 15분 내 복구하기

장애 심각도 분류

심각도	정의	대응시간	처리팀
P1 (심각)	플레이어 접근 불가	<5분	전사
P2 (중간)	기능 제한, 성능 저하	<15분	운영 + 개발
P3 (낮음)	기능 오류, 성능 미세 저하	<1시간	개발

P1 장애 대응 절차

0분: 감지 및 선언

자동 알림:

• 시스템 모니터링: 서버 응답 시간 >5초
• 에러율: 5% 이상
• 거래 실패율: 2% 이상

즉시 조치:

1. Slack #incident-p1 채널에 알림 발송
2. 모든 리더에게 비상 호출
3. 관리자 대시보드 활성화

1-2분: 상황 파악

체크리스트:

• 영향 범위: 전사? 특정 지역? 특정 기능?
• 플레이어 영향: 몇 명이 접근 불가?
• 원인: 서버? 네트워크? 데이터베이스?

초기 진단:

1. 웹 서버 상태 확인
2. 데이터베이스 연결 확인
3. 외부 API 상태 확인
4. 최근 배포 확인

3-5분: 즉시 대응

자동 복구 시도:

1. 서버 자동 재시작
2. 로드 밸런서 재설정
3. 캐시 초기화

수동 대응:

1. 문제 서버 제거 (트래픽 우회)
2. 롤백 고려 (최근 배포가 원인이면)
3. 데이터베이스 재연결

6-10분: 상황 업데이트

내부 공지:

• Slack: 현황, 예상 복구 시간
• 고객 지원: 대응 방법 공유
• 관리자: CEO 보고

외부 공지:

• 웹사이트 상태 페이지 업데이트
• 플레이어 앱 알림 고려

11-15분: 복구 및 검증

복구 확인:

1. 서버 응답 시간 정상화
2. 에러율 0% 근처
3. 거래 정상 처리

사후 확인:

1. 플레이어 계정 상태 확인
2. 거래 손실 없음 확인
3. 데이터 일관성 확인

P2 장애 대응 (15분 이내)

절차: P1 유사하나 좀 더 유연함

• 전체 팀 호출 불필요
• 개발팀과 운영팀만 참여
• 외부 공지 선택적

장애 사후 분석

30분 내: 긴급 회의

• 원인 파악
• 복구 과정 검토
• 일시적 완화책 평가

24시간 내: 상세 분석

• 근본 원인 분석 (RCA)
• 재발 방지 계획
• 필요시 아키텍처 변경

72시간 내: 최종 보고

• 전사 공유
• 교훈 문서화
• 개선 계획 수립

사전 예방

시스템 설계

• 자동 페일오버
• 로드 밸런싱
• 캐싱 전략
• 서킷 브레이커

모니터링

• 실시간 대시보드
• 임계값 기반 알림
• 로그 수집 및 분석

준비

• 정기 드릴 (분기별)
• 장애 대응 매뉴얼 최신화
• 팀 교육

핵심 메시지

P1 장애 대응은 준비, 절차, 실행의 조합입니다. 15분 이내 복구는 체계와 훈련으로 가능합니다.