짧은 소견이지만 참고하셨으면 합니다.

우선은 보내주신 정보로 파악을 해보면 금요일 저녁부터 토요일 그리고 월요일등에 특정 시간 특정주기로 트레픽이 폭주하는것으로 보여집니다.

보내주신 정보만으로는 어떤 프로세서가 어떤작용으로 얼마나 부하를 내는지를 알수가 없습니다.

조금 수고스러우시더라도 약 1~2주정도 지켜보시면서 차분하게 원인을 파악하셔야 할것 같습니다.

일단은 다음과 같이 지시하여 드리는 대로 스크립트를 작성하신후 cron으로 예약작업을 걸어주셔야 합니다.

스크립트의 위치는 /root/bin 이하로 만들어 주시고 /root 이하에 bin디렉토리가 없을경우 만들어주시면 됩니다. 또한 그와 동시에 /root/logbox 란 디렉토리도 만들어 주시기 바랍니다. 스크립트작업의 결과물이 쌓일 경로입니다.

예약작업은 트래픽이 폭주하는 요일과 그시간대에 매분 실행되도록 하여 주시고 root 권한의 cron 작업을 세팅하여 주시기 바랍니다. 다만 주의하실것은 트레픽이 폭주할 시간을 정확히 예상하고 해당 프로세서를 정확히 잡아내기 위해서 생성되는 로그들을 계속적으로 누적시킬 것이기 때문에 이 스크립트를 평일에도 무한정 돌려버리게 된다면 그용량이 엄청나게 될것임을 판단하시고 반드시 해당 요일과 시간대에만 1분에 한번씩 돌아가도록 설정해 주시기 바라며 주의 바랍니다.

만약 트레픽이 폭주하는 시간과 일자가 주기적이지 못하고 랜덤하다면 어떨수 없이 약 일주일 단위로 로그를 용량을 체크하묘 삭제하면서 지켜봐야 겠지요.

일단 다음과 같은 위치와 내용으로 쉘스크립트를 만들어 주신후 위에서 말씀드린것처럼 cron에 등록해 주세요

vi /root/bin/checkload.sh

====================== 이하 스크립트 내용 ==================

#!/bin/bash

uptime >> /root/logbox/uptimelog;
ps -elf >> /root/logbox/pslog1;
ps -aux >> /root/logbox/pslog2;
pstree -ahnup >> /root/logbox/pstreelog;
sar -n FULL 1 50 >> /root/logbox/networklog;

========================================================

# chmod 700 /root/bin/checkload.sh

이렇게 하면 해당 시간의 시스템 부하율 값과 그 시간대의 프로세스 리스트와 프로세스들의 시스템 리소스 점유율 그리고 프로세스의 실행경로 및 트리구조 그리고 그시간대의 네트워크 대역 전송율을 알아낼수가 있겠죠..

또한 이로그들은 모두 동일한 시간에 동시에 생성되는것이기 때문에 트레픽을 일으키는 프로세서를 찾아낼수가 있을것입니다.

조금더 신경을 쓰셔서 간단한 bash 등의 스크립트를 짜신다면 트레픽을 일으키는 해당 프로세서를 자동으로 감지하여 강제로 kill 시키는 것또한 가능해 지겠지요.

예를 들면 위에서 생성된 로그들을 대상으로 uptimelog를 읽어들여 시스템  평균부하가 3이상일때 pslog2를 읽어들여 가장 cpu와 메모리를 많이 잡아먹는 프로세서를 찾아낸후 다시 pslog1에서 해당 프로세서명을 검색하여 pid 번호를 추출한뒤 kill 시켜 버린다.

뭐 이런.. ^ㅡ^;;

제가 관리하는 시스템이 아니기 때문에 어떤 AP들이 운영되는지도 모르고 함부로 프로세서를 죽일수 없어 그저 이정도로 조언해 드리겠으며 자동kill 스크립트는 생략토록 하겠습니다.

참고로 bash를 이용한 스크립트 프로그래밍은 매우 간단하며 인터넷상에서도 많은 자료를 구하실수 있으니 참조바랍니다. 감사합니다.

:::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::: 원   문 ::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::

얼마전에 서버관리하시던 분이 나가고 프로그래머인 저혼자 서버관리까지 맡게 되었네요.

처음에는 그럭저럭 괜찮았으나 지난주말부터 이상한 현상이 일어나기 시작했습니다.

지난주 주말에 서버 업체에서 전화가 왔더군요. 트래픽이 폭주하여 다른 서버들에까지 영향이 간다고, 체크좀 해달라고..

이상해서 ssh 접속을 하려고 하니 접속이 안되었습니다. ftp,ssh,웹까지 모두 접속이 안되더군요. 그래서 서버업체에 전화를 걸어 체크 부탁드렸습니다.

이상한것이 콘솔로 접속은 이상이 없다고 하셨습니다. 하지만 모든 접속이 안되는 상태에서는 서버시를 할수없으므로 리부팅 요청드렸습니다.

리부팅후  별다른 증상은 다시 일어나지 않아 별다른 대응없이 지나갔습니다. 일주일동안은 아무 탈없이 지나갔습니다.

하지만 일주일이 지나고 다시 주말밤이 되다 트래픽 폭주가 일어나더군요. 또 접속이 되지 않아 리부팅후, 로그를 살펴보았지만 별다른 사항이 없었습니다.

서버 업체어서도 트래픽 제한을 10m로 하향 제한을 해놓았습니다.

그날밤부터 secure,messages로그, 아파치 웹로그, 메일로그등을 보았지만 별다른 증상이 없었습니다. 상주해계신 idc 직원분에게 부탁드려 점검을 부탁드렸지만, 그분도 별다른 이상 증상이 없다고 하시더군요.

그리고 그다음날 아침에 10시쯤 다시 트래픽, 리부팅, 그리고 그다음날 저녁6시와 밤 12시경에도 다시 폭주현상이 일어납니다.
무작위 해킹시도는 있었지만, 이런 건 처음이라 당황이 되네요.

음 해킹을 당한것을 까요? 전문적인 서버 관리자가 아니라 프로그래머라 전문적인 지식이 부족합니다. 어떤걸 체크를 해봐야 하는지 조언 부탁드립니다.
(이러다 살빠지겠어요...ㅜ.ㅜ)