Spamassassin을 이용한 스팸메일 필터링 2부

Spamassassin을 이용한 스팸메일 필터링 2부

3.6.3 스팸어세신 설정 방법

스팸어세신은 방대한 양의 설정 내용을 제공하는데, 자세한 내용은 “perldoc Mail::SpamAssassin::Conf”을 실행하거나 관련 문서를 살펴보기 바란다.

여기에서는 꼭 알고 있어야 할 몇 가지만 살펴보도록 하자.

먼저 기본적으로 설치되는 디렉토리 구조는 다음과 같다. 가급적 디렉토리 구조는 그대로 사용하도록 한다.

- /usr/share/spamassassin/*.cf

스팸어세신에서 기본적으로 제공되는 룰등 각종 룰 파일들이 위치하는 곳으로 수정하거나 변경할 부분은 없다.

굳이 변경한다면 스팸으로 분류 시 헤더에 쓰여질 내용이나 각종 룰(rule)에 대한 설명 등을 변경할 수 있는데 특별히 할 필요도 없고, 업그레이드를 하면 덮어 씌어지므로 가급적 변경하지 않도록 한다.

굳이 하여야 한다면 /etc/mail/spamassassin/에서 변경하도록 한다.

- /etc/mail/spamassassin/*.cf:

주 설정 파일로서 각종 설정과 룰에 대한 점수(score)등을 지정할 수 있다.

별도의 파일 이름은 없으며 확장자가 .cf이기만 하면 설정 파일로 인식한다.

- $USER_HOME/.spamassassin

스팸어세신과 관련하여 각 유저별로 디렉토리를 생성하여 유저별로 별도의 룰 설정을 할 수 있는데, 이 디렉토리에 각 유저별로 whitelist와 preferences 파일 등이 생성된다.

만약 같은 설정이 /etc/mail/spamassassin/*.cf와 $USER_HOME/.spamassassin에 있을 경우 유저 설정이 우선하며 유저 설정이 없을 경우에는 /etc/mail/spamassassin/*.cf 설정을 따른다. $USER_HOME/.spamassassin 디렉토리는 메일이 수신되면 자동으로 생성된다.

스팸어세신이 시작할 때 이처럼 "/usr/share/spamassassin"과 "/etc/mail/spamassassin" 디렉토리에 있는 설정파일 및 $USER_HOME/.spamassassin에 있는 각 유저별 설정 파일을 읽게 된다.

이제 설정파일에서 사용될 수 있는 옵션에 대해 구체적으로 알아보자. 이 옵션은 /etc/mail/spamassassin/*.cf와 $USER_HOME/.spamassassin/ 디렉토리내 각 유저별 설정에서 사용될 수 있다.

참고로 버전이 올라가면서 일부 변경된 옵션이 존재하는데, 설치하는 버전에 맞게 사용하면 된다.

스팸어세신 2.x 버전에서는 required_hits로 사용되었는데, 3.x 이후 버전에서부터 required_score로 변경되었다. 이는 가장 중요한 설정으로 들어오는 메일에 대해 스팸으로 분류할지의 여부에 대한 기준값(score)이다.

수신된 메일을 종합적으로 분석하여 이 값보다 높으면 스팸(spam)으로 분류되고 낮으면 정상적인 메일(ham)로 분류되기 때문이다.

기본값은 5로 되어 있는데, 처음에는 10 정도로 다소 높게 설정 후 상태를 지켜본 후 각자 적당한 값을 지정하기 바란다.

경험적으로 8.0 정도가 적당한데, 6.0과 같이 이보다 낮으면 뉴스레터 등 일부 메일도 스팸 처리가 되고 8.0보다 높으면 단순 텍스트 위주의 영문 스팸이 잘 걸러지지 않는 것 같다.

rules/STATISTICS.txt 파일을 보면 각 score마다 대략의 통계 값을 볼 수 있는데 몇 가지만 소개하면 아래와 같다. 

아래 표를 보면 required_score 값을 작게 설정하면 스팸을 스팸으로 인식할 확률은 높으나 그만큼 정상메일을 스팸으로 인식할 확률도 높아지는 것을 알 수 있다.

해당하는 여러 룰 테스트에 대해 기본 점수 외 각자의 환경에 따라 점수를 변경할 수 있다.

점수는 스팸일 가능성이 높을수록 큰 점수를, 그렇지 않을 경우 작은 점수나 -를 줄 수 있다.

스팸어세신이 제공하는 모든 룰은 아래 URL에 자세히 설명되어 있다.

http://spamassassin.apache.org/tests.html

룰의 특성과 룰의 이름 그리고 룰의 점수 및 자세한 설명이 링크되어 있다.

점수는 /usr/share/spamassassin/50_scores.cf 파일에도 명기되어 있는데, 네 번째에 보이는 점수만 보면 된다.

[그림] 스팸어세신 룰에 대한 설명 

그리고 실제 룰 정의는 "/usr/share/spamassassin" 디렉토리 내 파일들에 정의되어 있다.

만약 이 룰 중 특정한 룰에 대해서는 스팸 지수에 영향을 미치지 않도록 하려면 해당 값을 0으로 지정하거나 다른 적절한 값을 지정하면 된다.

위는 제목에 달러($)가 포함된 메일에 대해서 2.0을 부여하는 예를 보여주고 있는데, 실제 룰은 "/usr/share/spamassassin" 디렉토리에 정규식으로 아래와 같이 구현되어 있다.

스팸수치와 관계없이 수신할 메일 주소이다.

꼭 받아야 하는데, 스팸으로 처리될 수 있을 경우 위와 같이 발신자의 메일 주소를 지정하면 된다.

형식은 "*@isp.com"이나 "*.domain.net"도 된다.

메일 주소가 여러 개인 경우 한 줄에 하나씩 지정해도 되고, 한 줄 에 여러 주소를 지정해도 된다.

메일 헤더의 Envelope-Sender, Resent-Sender, X-Envelope-From, From에 설정되어 있으면 이 변수에 적용된다.

반대로 스팸 수치와 관계없이 무조건 스팸으로 간주할 메일 주소이다.

형식은 동일하다.

To나 Cc에 특정한 메일 주소가 설정되었을 경우 스팸 수치와 관계없이 whitelist로 가 정하는 것이다.

만약 여러 도메인이 설치되어 있는 서버에 스팸어세신을 설치하였는데, 특정한 도메인이나 메일계정에 대해서는 스팸 설정을 원치 않는 경우가 있을 것이다.

이러한 경우 해당 도메인이나 메일 주소를 지정하면 된다.

메일 헤더의 To, Cc, Apparently-To, Delivered-To, Envelope-Recipients, Apparently-Resent-To, X-Envelope-To, Envelope-To, X-Delivered-To, X-Original-To, X-Rcpt-To, X-Real-To등에 설정되어 있으면 적용된다.

반대로 To나 Cc에 특정한 메일 주소가 설정되었을 경우 스팸 수치와 관계없이 blacklist로 가정하는 것이다.

즉 이 계정으로 향하는 메일은 모두 스팸 메일로 인식되며 형식은 동일하다. 참고로 whitelist 관련 룰은 -100점이, blacklist 관련 룰은 100점이 주어진다.

만약 스팸 지수를 초과하여 스팸으로 간주되었을 경우 스팸으로 분류하기 위해 메일의 제목을 재작성(rewrite)할 수 있는데, 이를 어떻게 지정할 것인지 설정하는 것으로 위와 같이 설정되면 메일의 제목 앞에 [SPAM]이 추가되어 “[SPAM] 대출, 바로 됩니다!!“와 같이 보이게 된다.

이전의 2.6x 버전에서는 아래와 같이 설정하여야 하는데, 3.x 이후 버전에서는 위와 같이 한 줄로 통합되어 사용되고 있다.

2.6x 버전 예)

여기에서 report_safe를 1로 설정하였을 경우에는 아래와 같이 해당 메일의 제목을 클릭하면 스팸 필터링에 대한 간단한 설명(report)과 스팸으로 분류된 구체적인 이유 등이 보이게 된다.

그리고 원래의 스팸 메일은 첨부 파일로 저장되어 스팸 메일을 보려면 첨부파일을 클릭하면 된다.

아래 그림은 “rewrite_header Subject [SPAM]”으로 지정한 경우이다.

[그림] report_safe를 1로 설정 시

그러나 이 값을 0으로 설정할 경우에는 아래와 같이 스팸으로 분류는 되지만 스팸메일 원본이 아래와 같이 첨부되지 않고 바로 보이게 된다.

[그림] report_safe를 0으로 설정시

그리고 0일 경우. report_safe를 1로 설정하였을 때 보이는 세부정보(스팸 필터링에 대한 간단한 설명과 스팸으로 분류된 구체적인 이유 등)는 메일의 헤더를 살펴보아야 알 수 있다.

2로 설정하였을 경우에는 0과 같이 첨부되지만 모두 text로 변환되어 html 코드 등이 그대로 보이게 된다.

기본값은 1인데, 대부분 이 값을 0으로 설정하여 사용하는 것이 편리하다.

어떠한 국가의 character sets에 대해 수용할 것인지 정하는 것으로 기본값은 all이다.

기본적으로 스팸어세신은 rbl을 체크하는데, 체크하지 않으려면 이 값을 1로 설정한다.

다소 dns 부하가 걸리더라도 0으로 두어 rbl을 설정하도록 하는 것이 좋다.

각각의 유저들이 홈디렉토리 내 user_prefs 파일에서 별도의 룰을 생성할 수 있도록 할 것인지 정의한다.

만약 허용할 경우 보안상의 문제가 유발될 수 있고 부하상승의 요인이 되므로 가급적 허용하지 않는 것이 좋다. 

이 값을 0으로 설정하는 것은 신규 룰을 생성하지 못한다는 것이지 whitelist나 blacklist를 설정할 수 없다는 것은 아니다.

베이시안 기법을 사용할 것인지 지정한다.

0이나 1이 올 수 있는데, 기본 값인 1을 그대로 사용하도록 한다.

만약 베이시안 기법을 사용할 경우 아래와 같은 설정을 추가하도록 한다.

물론 아래에서 path는 적당히 지정하면 된다.

bayes_path /home/spam/.spamassassin/bayes

auto_whitelist_path /home/spam/.spamassassin/auto-whitelist

bayes_file_mode 777

auto_whitelist_file_mode 777

그리고 아래와 같이 적당한 권한을 주도록 한다.

그리고 bayes_auto_learn 1 로 설정할 경우 수신되는 메일에 대해 자동으로 학습을 하게 된다.

만약 스팸 또는 햄(정상)이 정확한 메일에 대해서는 다음과 같이 sa-learn을 이용하여 수동으로 학습을 시킬 수도 있다.

# sa-learn --spam --mbox /var/spool/mail/spam-mail

==> 스팸이 정확한 메일에 대해 학습을 시킨다.

# sa-learn --ham --mbox /var/spool/mail/ham-mail

==> 스팸이 아닌 정상메일에 대해 학습을 시킨다.

스팸메일과 관련한 문서를 보다 보면 “베이시안 필터링(Bayesian filtering)”이라는 용어가 가끔 나오는데, 이에 대해 간단히 살펴보도록 하자.

베이시안 필터링이란 수학자였던 토마스 베이즈(Thomas Bayes)의 정리를 텍스트 분류(Text Classification)에 적용한 것인데, 특정한 텍스트에서 개별적인 단어들의 출현 빈도를 모두 저장한 뒤, 비슷한 분류의 텍스트를 계속 샘플 데이터로 추가시켜 나가면서 임의의 텍스트가 해당 분류에 속하는지 여부를 알 수 있다는 이론이다.

스팸어세신은 스팸 메일을 차단하기 위해 현재까지 가장 좋은 방법이라고 알려져 있는 베이시안 필터링을 제공하고 있는데, 베이시안 필터링은 스팸(spam) 및 스팸이 아닌 정상 이메일인 햄(ham) 데이터에 기반하여 수학적 접근 방식을 이용해 새로운 스팸 수법에 대해 스스로 학습하여 스팸 메일을 인식할 수 있도록 한다.

베이시안 필터링의 주요 특징으로는 스팸에 대하여 '미리 정의된 규칙'과 같은 것이 없다는 것이다.

모든 규칙은 자기 스스로 만들어내는데, 자신의 메일함에 ‘스팸’으로 결정된 메일이 들어오는 그 순간부터 규칙이 작동하게 된다.

물론 보다 많은 확실한 스팸 샘플을 가지고 있을수록, 필터를 오래 사용할수록 필터는 더 정확해지고 또 똑똑해질 것이다.

즉, 학습(auto-learning)에 의해 각각 개인마다의 규칙들을 스스로 만들어나가는 것인데, 이를테면 스팸으로 분류된 메일에 “광고”라는 용어가 자주 보이고, 정상 메일에 “보안”이라는 용어가 자주 보였다면 새로운 메일이 도착하였을 때 경험적으로 “광고”가 있다면 스팸일 가능성이 높으므로 + 점수를 주고, “보안”이 있다면 스팸이 아닐 가능성이 높으므로 - 점수를 주는 것이다.

물론 모든 유저마다 별도의 베이시안 필터링을 사용하였을 경우 다소의 CPU와 디스크 용량을 차지할 수 있지만 각 유저마다 개별적인 룰을 만들 수 있을 것이다.

베이시안 필터링은 대부분의 상용 솔루션에서도 기본적으로 제공하고 있는데, 이에 대한 보다 자세한 내용은 아래 URL을 참고하기 바란다.

http://www.paulgraham.com/spam.html

설정이 끝난 후에는 설정 내용에 문법적인 오류는 없는지 확인해 보도록 한다.

이는 아래와 같이 실행하면 되는데, 이때 에러가 존재한다면 해당 부분을 보여주고 skip했다는 메시지를 보여준다. 아래의 경우 www라는 알 수 없는 옵션이 있어 skip 했다는 것을 알 수 있다.

만약 각 유저별 설정 파일인 user_prefs 파일의 문법을 확인하려면

와 같이 실행하면 된다.

그리고 -D 옵션을 주어 실행하면 각종 설정 등 debug 메시지를 확인할 수 있다.

3.6.4 스팸어세신 운영 방법

설정이 끝난 후에는 시작 스크립트를 이용하여 스팸어세신 프로세스를 시작하면 되는데, 레드햇 계열이라면 압축을 해제한 디렉토리 이하에 있는 spamd/redhat-rc-script.sh 파일을 /etc/rc.d/init.d/ 디렉토리에 복사 후 사용하면 된다.

이를테면 spam이라는 파일로 복사해 두었다면 “/etc/rc.d/init.d/spam start”를 실행하면 스팸어세신이 가동을 시작할 것이다.

만약 특정한 모듈이 제대로 설치되지 않았다면 에러 메시지가 출력될 것이고, 정상적으로 설치되었다면 에러는 없을 것이다.

가동 후에는 아래와 같이 127.0.0.1에서 783/tcp번으로 리슨하고 있는지 확인해 보기 바란다.

이제 어느 정도 준비가 끝난 것 같다. 스팸어세신의 작동은 아래와 같이 /etc/procmailrc 파일에 스팸어세신에 대한 설정을 한 후부터 적용하게 된다.

아래와 같이 설정하면 메일이 각 유저에게 전달되기 전에 스팸어세신을 통과하게 된다.

여기에서 “:0fw: spamassassin.lock”의 의미를 알아보면, procmail은 한 통의 메일을 받을 때마다 새로운 프로세스를 생성하는데, 만약 동시에 많은 메일이 도착할 경우에는 이로 인하여 매우 많은 스팸어세신 프로세스가 뜨게 되어 procmail에서 한 번에 한통씩 처리하도록 하기 위해 lock을 설정한 것이다.

그리고 “* < 256000”이라는 설정은 performance를 고려하여 256,000 bytes 이하인 메일만 스팸 여부를 체크한다는 의미로서 이는 통상적으로 스팸 메일의 사이즈가 크지 않다는 특성을 이용한 것이다.

또한 “-u $LOGNAME” 이 있는데, 이를 통해 spamc가 각 유저별 설정을 읽게 한다.

그리고, spamd 가동 시 “--user-config” 옵션을 추가하도록 하여야 한다.

그렇지 않으면 spamd는 각 유저별 설정 파일을 무시하게 된다.

이를 위해 /etc/rc.d/init.d/spam 파일에서

기존의 SPAMDOPTIONS="-d -c -m5 -H "에서

SPAMDOPTIONS="-d -c -m5 -H --user-config"와 같이 “--user-config”를 추가한 후 restart 하면 된다.

위와 같이 설정하면 이후부터는 시스템 별 설정과 유저별 설정이 있을 때 유저별 설정을 우선하여 따르게 되고, 유저에게 메일이 발송되면 자동으로 각 유저별로 .spamassassin/ 디렉토리에 user_prefs 파일이 생성된다.

이제 외부에서 서버 내 계정으로 메일을 발송해 보고 정상적으로 작동하는지 확인하기 위해 수신된 메일의 헤더를 살펴보기 바란다.

참고로 아래는 MTA가 수신한 메일을 유저의 메일박스로 저장하기 전에 procmail을 통해 스팸어세신이 작동하고 있는 것을 알 수 있다.

# ps aux

antihong procmail -f test@daum.net -t -Y -a -d antihong

antihong /usr/bin/spamc -u antihong

별로 권장하지는 않지만 만약 수치가 일정 정도 이상인 메일은 [SPAM]과 같이 전송되지 않고 서버에서 바로 삭제하기를 원할 수 있다.

이러한 경우 procmail을 이용하면 되는데, 아래의 내용을 /etc/procmailrc에 두면 모든 유저에게 적용되고, 특정한 유저의 ~$HOME/.procmailrc 파일에 설정하면 해당 계정에게 전달되는 메일만 적용하도록 할 수 있다.

아래의 설정은 *가 10개 즉, 스팸 수치가 10 이상인 메일은 /dev/null로 보냄으로써 메일 박스로 저장하지 않고 삭제한다는 의미이다.

그렇지 않고, 스팸으로 분류된 모든 메일을 삭제하려면 아래와 같이 설정하면 된다.

만약 스팸으로 지정된 메일을 삭제하지 않고 특정한 파일에 저장하려면 위와 같이 /dev/null 대신 저장될 파일 이름을 지정하면 된다.

이후 “mail -f /var/spool/mail/spam-mail”을 실행하면 저장된 메일을 읽을 수 있다.

이보다는 다음과 같이 스팸수치가 일정정도 이상인 메일은 별도의 파일에 저장되도록 하는 것이 좋다.

이제 각자 메일 프로그램에서 메시지 규칙 등을 이용하여 제목에 [SPAM]등으로 들어오는 메일은 별도의 편지함으로 전송하도록 설정하면 아래와 같이 보이게 될 것이다.

[그림] 스팸으로 분류된 메일함