리눅스마스터1급 : 시스템 로그 분석 로그 서버

mail.info @logserver

daemon syslogd -m 0 -r -h

시스템 로그 관리의 필요성

로그 파일들이 디스크 공간을 차지하는 비율도 높다고 할 수 있다.

직접 시스템을 운영한다면 어느 순간에는 “파일 시스템 풀(file system full)”로 인해서 시스템이 다운된 경우를 경험할 수 있을 것이다.

파일 시스템 풀(File system full)란 할당된 디스크 공간(파티션)에 여유 공간이 모자란다는 의미로 대부분 로그 파일을 그냥 방치한 결과 이 로그 파일들의 원인인 경우가 거의 대부분이라고 할 수 있다.

이런 경우 로그 파일을 제대로 관리했다면 문제가 발생하지 않았을 것이다.

소규모로 서버를 운영하는 경우 로그 파일에 그다지 신경을 쓰는 일이 없다.

그렇지만 제공하는 서비스가 많아지고 규모가 커질 경우 예상치 못한 곳에서 문제가 생기는 일이 많다.

그 중 하나가 엄청나게 증가하는 로그 파일 문제이다.

예를 들어 하루에 10만 통의 전자 메일을 처리하는 경우를 생각해 보자. sendmail은 전자 메일을 전송하면서 그 결과에 대한 메시지는 syslogd를 이용하여 /var/log/maillog에 저장한다(이는 설정에 따라 다를 수 있다). 또한 여기에 pop3을 사용해 메일을 가져간 기록과 메일을 전송한 기록까지 저장되어야 한다.

정상적으로 전자 메일이 전송되는 경우 기록되는 메시지는 560Byte 정도이다.

그렇지만 전송시 에러가 나는 경우에는 그 에러 횟수에 따라 에러 메시지가 추가된다.

평균 하나의 전자 메일이 1KB 정도의 로그를 기록한다고 해 보자. 하루에 10만 개의 메일을 전송한다면 하루 동안 로그의 크기만 100M이고, 일주일이면 700MB이다.

여기에 메일 계정이 1,000명이고, 각 사용자가 5분마다 pop3으로 메일을 확인한다고 했을 경우를 추가해야 한다.

한 번에 약 0.2KB의 로그가 쌓이면 시간당 12번(5분에 한 번씩 확인하는 경우), 하루 8시간 근무시 96번이고 96*0.2KB = 192kb이다.

1,000명이므로 192MB가 되고 일주일이면 일요일을 제외하더라도 1.15G 정도가 된다.

한 사람당 메일 용량을 10M씩 할당하면 전자 메일을 저장할 용량만으로 10G가 필요하고 로그를 위해 2G 이상이 필요하다.

여기서 그냥 2G로 끝나는 것이 아니라 rotate값이 4라면 8G가 된다.

이와 같은 상황이 되면 시스템에 굉장한 무리가 갈 수 있다.

여기서만 끝나는 것이 아니다.

syslogd는 maillog를 열어놓고 계속 로그를 기록하는데 로그 파일이 1MB 이상 넘어가면 하나의 메시지를 처리하기 위해 시스템 자원을 10% 이상 사용한다고 하며, 10MB가 넘으면 40% 이상, 100MB가 넘으면 80% 이상의 시스템 자원을 사용한다고 한다(물론 이는 자신의 시스템 상황을 끊임없이 모니터링해서 자신에 맞추어야 할 것이다). 결국 서비스를 제공할 때 자원을 사용해야 하는 데 엄청나게 커진 로그 파일 때문에 시스템의 자원이 없어져서 나중에는 전자 메일 전송이 아니라 로그 기록에 모든 cpu 시간을 사용해야 한다.

하드 디스크를 빈번하게 사용하는 작업이 많으면 시스템의 성능은 급격하게 떨어진다.

이제 웹 서버 로그 기록을 살펴보자. 이용자가 접속할 때마다 기록되는 access_log는 한번 접속당 약 85Byte가 증가한다.

하루 10만 번 접속하면 8.5MB이다.

일주일이면 59.5MB이다.

한 달이면 255MB이다.

서비스하는 규모가 더 크다면 로그 파일을 액세스하고 갱신하는 데는 더 많은 시스템 자원을 사용할 것이다.

이런 경우에 로그 관리를 자동화하여 주는 것이 logrotate 이다.