더위키:홈 (문서 토론)
서벼 장애 복구
9월 29일부터 발생하던 서버 장애를 일부 복구했습니다.
해당 장애는 DB, 이미지, 덤프파일 등을 제공하던 NAS 서버에서 특정 HDD에 발생한 배드섹터로 인해 발생한 것으로, 데이터 손실 방지 및 레이드 재구성 작업으로 인하여 장애 해결에 다소 시간이 소요된 점 사과드립니다.
문제의 HDD는 이전에도 동일한 문제가 있어 제조사 AS를 통해 받은 교체품이며, 단순 배드섹터 발견 뿐 아니라 제조사 툴을 사용한 진단 테스트에서도 불량 판정을 받았습니다.
레이드 시스템에서 해당 하드를 완전히 제거하는 재구성 작업을 통해 재발 가능성을 차단하였으며, 반품 또는 교체품의 중고판매를 통해 처리할 예정이고 점진적으로 SSD 레이드 구성으로 교체하여 성능을 끌어올릴 계획입니다.
레이드 재구성을 위해 전체데이터 백업, 모든 하드 포맷, 문제 하드를 제외하여 레이드 구성, 전체데이터 복원의 과정을 거쳤으며 obj-kr 서버를 제외한 나머지 기능들은 복원이 완료되었습니다.
obj-kr 서버는 obj-sg 서버를 미러링해야 하기 때문에 데이터 복원 후에도 정상운용까지는 다소 시간이 소요됨을 알려드립니다.
손이 똥손인건지, 제품을 잘못 고른건지 반복되는 하드 불량으로 안정적인 서비스 제공을 해드리지 못해 죄송합니다.
감사합니다.
해당 장애는 DB, 이미지, 덤프파일 등을 제공하던 NAS 서버에서 특정 HDD에 발생한 배드섹터로 인해 발생한 것으로, 데이터 손실 방지 및 레이드 재구성 작업으로 인하여 장애 해결에 다소 시간이 소요된 점 사과드립니다.
문제의 HDD는 이전에도 동일한 문제가 있어 제조사 AS를 통해 받은 교체품이며, 단순 배드섹터 발견 뿐 아니라 제조사 툴을 사용한 진단 테스트에서도 불량 판정을 받았습니다.
레이드 시스템에서 해당 하드를 완전히 제거하는 재구성 작업을 통해 재발 가능성을 차단하였으며, 반품 또는 교체품의 중고판매를 통해 처리할 예정이고 점진적으로 SSD 레이드 구성으로 교체하여 성능을 끌어올릴 계획입니다.
레이드 재구성을 위해 전체데이터 백업, 모든 하드 포맷, 문제 하드를 제외하여 레이드 구성, 전체데이터 복원의 과정을 거쳤으며 obj-kr 서버를 제외한 나머지 기능들은 복원이 완료되었습니다.
obj-kr 서버는 obj-sg 서버를 미러링해야 하기 때문에 데이터 복원 후에도 정상운용까지는 다소 시간이 소요됨을 알려드립니다.
손이 똥손인건지, 제품을 잘못 고른건지 반복되는 하드 불량으로 안정적인 서비스 제공을 해드리지 못해 죄송합니다.
감사합니다.
고생하셨습니다.
이 토론은 종료되었습니다.
관리그룹 멤버가 토론을 다시 시작할 수 있습니다.