안녕하세요 마루 호스팅입니다.
먼저 mars서버에 입주하여 계신 회원님들께 죄송하단 말씀 먼저 드리겠습니다.
상황발생과 현재까지의 업무 내용을 보고드리겠습니다.^^;
1. 상황발생까지의 마루업무 내용.
기존에는 백업을 로칼서버 즉, 개별 서버에서 각각 처리 하였습니다.
하지만 서버의 대수가 많고 호스팅 서버는 언제든지 문제가 생길 수 있는 것이라
백업서버를 도입하기로 결정하고 어제 12일 백업서버를 IDC에 입고하였습니다.
ㅁ호스팅사업팀장 아이디 woojoo
* 경력 : 리눅스배포판 작업(NX리눅스)
보안솔루션 개발(방화벽), 웹빌더 개발 등 수행
* 특징 : 실험정신이 강하고, 의무감이 투철 ^^;;;;
저희 회사의 핵심 인력 중 하나입니다.;;
2. 상황발생
woojoo님이 퇴근후 1시 경에 백업작업을 시작하셨습니다.
백업대상중에 패스워드를 관리하는 부분을 백업하시면서 그만 복사해서 백업을 해야하는 것을 옮기기(move)를 해버리셨습니다. 13일 AM 2:00경
* 장애내용 : web접속은 되나 ftp와 ssh 접속이 불가
패스워드 관리부분이 없기 때문에 로그인에 관련된 작업마비.
*원격지 장애조치 : 밤새 웹상 복구시도;;
3. 상황의 조치
아침 일찍 IDC 로 이동한 woojoo님 IDC 방문자 인증 절차를 거쳐 해당서버로 이동.
로칼에서 ROOT 패스워드도 동작을 하지 않으므로 불가피하여 리부팅하여 root권한 취득후 패스워드 관련파일의 백업본으로 복구 완료. 13일 AM 09:15~29
홈페이지 접속 불가능 시간 : 리부팅후 해당파일 복구 시간 : 약 15분
4. 상황의 종결
모든 서버 동작 이상 무를 확인 후 현재 IDC에서 사무실로 이동 중.
이상과 같은 경위로 서비스 장애가 발생한 점 다시 한번 사과 드립니다.
woojoo님의 성실성으로 미루어 보아 저런 실수를 한것이 딱 '원숭이도 나무에서 떨어질 수 있다'는 말이 생각나는 군요;
이번 사건을 계기로 더욱 신중을 기하는 마루인터넷이 되겠습니다.
더불어 이제는 '개별로컬 서버 백업시스템'에서 '전용 백업시스템'으로 변경하여 운영하게 되어 좀더 안전한 서버운영의 환경이 되었음을 보고 드립니다.
|
|
[1]..[21][22][23][24][25][26] 27 [28][29][30]..[593] 
