로그 운영, 수집과 보관과 검색을 나눕니다

로그 그룹 구조가 조사 속도를 정합니다

장애 조사에서 로그를 못 찾는 이유는 대개 양이 많아서가 아니라 구조가 없어서입니다. 그래서 수집을 늘리기 전에 그룹 구조를 정합니다. 기준은 세 가지입니다. 첫째는 환경입니다. 운영과 시험을 같은 그룹에 섞으면 조사 때마다 걸러내야 합니다. 둘째는 서비스입니다. 서비스별로 나누면 조사 범위가 바로 좁혀집니다. 셋째는 로그 종류입니다. 접근 기록과 애플리케이션 기록과 작업 기록은 보존 기간과 검색 방식이 다릅니다. 이 세 기준으로 나눈 이름 규칙을 먼저 정하고, 그 규칙에 맞춰 수집 설정을 바꿉니다.

보존 기간을 그룹마다 지정합니다

보존 기간을 지정하지 않으면 기본값이 무제한이 되어 비용이 계속 쌓입니다. 그래서 그룹을 만들 때 보존 기간을 함께 지정하는 것을 규칙으로 둡니다. 기간은 로그 종류별로 다르게 정합니다. 애플리케이션 오류 기록은 조사 주기에 맞춰 짧게, 접근 기록은 감사 요건에 맞춰 길게 둡니다. 또 지정 작업을 한 번에 끝내려면 현재 보존 기간이 비어 있는 그룹 목록을 뽑아야 합니다. 목록을 뽑은 뒤 각 그룹에 기간을 설정하고, 이후 새로 생기는 그룹에 자동으로 기간이 붙도록 생성 절차를 바꿉니다.

조사 시간 단축을 계산합니다

학습용 가정으로 계산합니다. 가정값은 보존 기간이 지정되지 않은 그룹이 25개이고 그룹당 설정에 2분이 걸려 50분이 든다고 두겠습니다. 구조를 정리한 효과는 조사 시간으로 나타납니다. 월 조사 건수를 8건으로 두고, 정리 전에는 건당 15분이 걸려 120분이었다고 하겠습니다. 정리 뒤 범위가 좁혀져 건당 4분이면 32분입니다. 중간 계산값인 절감은 월 88분입니다. 최종 효과는 장애 시간으로 봅니다. 조사가 빨라지면 복구도 그만큼 빨라지므로, 절감된 시간은 작업 시간이 아니라 중단 시간의 감소로 환산해야 합니다.

구조를 바꾸면 과거 로그는 그대로 남습니다

결론을 뒤집는 조건은 과거 데이터입니다. 이름 규칙을 바꿔도 이미 쌓인 로그는 예전 그룹에 남아 있습니다. 그래서 전환 기간에는 두 구조를 모두 검색해야 하고, 조사 절차서에 그 사실을 적어 두어야 합니다. 예전 그룹은 보존 기간이 끝날 때까지 두고 그 뒤에 정리합니다. 두 번째 조건은 수집 누락입니다. 설정을 바꾸는 중에 일부 서버가 예전 설정을 유지하면 그 서버의 로그가 어디에도 들어가지 않을 수 있습니다. 그래서 전환 뒤에는 서버 목록과 그룹별 수신 여부를 대조해 모든 서버가 로그를 보내고 있는지 확인하고, 그 대조 결과를 전환 보고서에 남깁니다.

서버 운영 실행 전 점검표

• 환경·서비스·로그 종류 세 기준으로 이름 규칙을 정했다
• 보존 기간이 비어 있는 그룹을 전수로 뽑아 설정했다
• 새 그룹에 보존 기간이 자동으로 붙도록 생성 절차를 바꿨다
• 전환 뒤 서버별 로그 수신 여부를 대조했다