특정 패턴문자를 원하는 포맷으로 처리하는 awk 실무활용 4편

7장 : 각각 다른 여러디렉토리 내에 동일한 파일을 vi로 수정하는 명령어 만들기

좀 황당한 시도일런지는 모르겠습니다. 일반사용자에게는 그다지 유용하지 않을 수 있지만 여러분과 저 같은 서버관리자들에게는 매우 유용한 방법이라 생각하기에 설명해 드립니다.

즉, 여러 개의 서로 다른 디렉토리내에 동일한 프로그램이나 어플리케이션이 설치되어 있는 경우에는 디렉토리 이름은 다르지만 각각의 디렉토리내에 들어있는 파일들은 모두 동일할 것입니다. 따라서 서로 다른 디렉토리내에 존재하는 동일한 이름의 파일을 한꺼번에 수정하는 vi명령어(쉘스크립트)를 만들어 실행하면 여러 번 사용해야하는 vi명령어를 한번의 명령어로 해결 할 수 있습니다. 물론 각각 vi가 오픈한 후에 수정해야 할 내용은 직접해야겠지요.

자, 그럼 이와 같은 상황에서 awk를 이용하여 vi명령어를 생성해 보도록 하겠습니다. 현재 위치에는 여러 개의 서로 다른 이름의 디렉토리가 존재하고 그 각각의 디렉토리 내에 존재하는 post.html파일을 수정하기 위한 것입니다. 아래와 같이 awk를 이용하여 “vi 디렉토리명/post.html”와 같은 출력을 얻을 수 있습니다.

이제 위의 결과로 출력된 vi문들을 모두 복사하여 임의의 파일로 저장하시면 됩니다. 필자의 경우에는 이 파일의 이름을 modfile.sh라고 하였습니다. 주의하실 것은 쉘스크립트로 실행할 것이므로 맨 첫번째 행에는 “#!/bin/bash”를 넣어주셔야 한다는 것입니다.

그리고 아래와 같이 저장한 파일에 실행퍼미션을 주십시요.

그런다음 이제 아래의 예와 같이 modfile.sh를 실행하시면 됩니다.

위와같이 실행하시면 서로다른 디렉토리에 존재하는 동일한 이름의 파일들을 대상으로 vi명령어를 차례대로 자동수행할 수 있습니다.

이 방법은 여러사용자가 함께 사용하는 호스팅서버에서 각각 다른 디렉토리내에 존재하는 동일한 파일을 vi로 차례대로 오픈하여 수정하는 방법을 생각하던 중 시도해 보았던 방법인데 필자의 이 작은 경험이 여러분들의 서버관리에 유용하게 쓰일 수 있을 것 같아서 설명한 것입니다.

8장 : 아파치 웹로그파일(access_log)에서 유일방문자수 카운트하기(유일 IP주소 카운트)

서버관리자들에게 있어서 로그파일의 의미는 아무리 강조하여도 지나치지 않을 것입니다.
그중에서도 웹로그파일은 웹방문자들의 숫자를 카운트하거나 웹페이지별 방문자를 분석하는 등의 작업을 할 수가 있는 매우 유용한 파일입니다.

이번 장에서는 서버관리자들에게 흔히 요구되는 것이 홈페이지의 유일IP방문자숫자를 확인해 달라는 것입니다. 물론, 유일 IP를 카운트하여 분석하는 작업이 경력있는 서버관리자들에게는 별 어려움 없는 일이겠지만 초보관리자들을 가끔씩 힘겹게하는 일이 될 수도 있습니다.

또한, webalizer나 accesswatch등의 웹로그 분석프로그램을 사용하여 분석한다면 이또한 매우 쉬운 일입니다. 하지만, 필자가 여기서 알려드리고자 하는 방법은 서버관리자가 간단한 명령어로 유일 IP를 뽑아내는 방법에 대한 것입니다.

자, 그럼 먼저 우리가 흔히 볼 수 있는 웹로그파일의 이름이 access_log입니다.

그리고 이 파일의 내용을 간단히 보면 다음과 같은 형식을 가지고 있습니다. 즉, 각행의 첫번째 항목이 IP주소라는 것을 확인하시기 바랍니다.

자, 그럼 이제 아래와 같은 명령어로 access_log파일의 전체 유일IP를 뽑아내 보겠습니다.

위와 같이 하면 현재의 access_log파일에 유일 IP주소를 카운트할 수 있습니다. 결론적으로 위의 결과에서 웹페이지를 방문한 유일IP주소가 4249개이므로 유일방문자수가 4249명이라는 것을 알 수가 있습니다.

위의 명령어를 간단히 복사하신 다음 여러분들의 access_log파일이 존재하는 곳에서 그대로 해보시기 바랍니다.

위의 명령어에 대한 설명을 간단히 하면 다음과 같습니다.

cat access_log
access_log 파일전체를 출력합니다.


awk '{print $1}' > imsi 
로그파일의 맨 첫번째 항목인 IP주소부분만을 imsi파일에 저장합니다.


sort -u imsi > imsi3
imsi파일에 저장된 IP주소들을 유일한 IP로 정렬한 후에 이 데이터를 imsi3에 저장합니다. 즉, imsi3파일에는 중복되지않은 유일IP주소리스트들이 저장됩니다.


wc -l imsi3
imsi3에 저장된 행(행단위로 IP가 저장되어 있음)을 카운트합니다.


좀 복잡해 보이지만 명령어를 이해한 다음 한번 사용해 보시면 금방 익숙해 질 수 있습니다.

그리고 이런 복합적인 명령어를 자주 사용하시다 보면 서버작업을 매우 간편하게 할 수도 있습니다.

위와 같이 명령어 몇개를 조합하여 유일IP주소를 카운트 하고 있지 않습니까.

자, 이번에는 특정 일자에 해당하는 유일IP주소를 카운트하는 방법입니다.

즉, 위의 결과로 보아 2003년 9월 20일자에 웹페이지를 방문한 유일방문자수는 75명이라는 것을 알 수 있습니다.

위의 명령어를 간단히 설명하면 다음과 같습니다.

grep 20/Sep/2003 access_log 
access_log 파일에서 20/Sep/2003이라는 문자열들을 가진행만을 뽑아냅니다. 즉, 특정 날짜에 해당하는 문자가 들어있는 행만을 작업대상으로 뽑아낸 것입니다.

awk '{print $1}' > imsi
20/Sep/2003에 해당하는 행들에서 IP주소부분만을 뽑아서 imsi파일에 저장합니다.

sort -u imsi > imsi3
imsi파일에 저장된 데이터를 대상으로 유일데이터 정렬을 하여 imsi3에 저장합니다 .

wc -l imsi3
imsi3의 행의 수를 카운트합니다.

이렇게하면 특정날짜의 유일IP주소를 카운트할 수있습니다.

여러분들께서도 위와 같은 방법으로 테스트해보시기 바랍니다. 위에서 20/Sep/2003 라고 된 부분은 2003년 9월 20일자라는 의미입니다. 즉, access_log파일 전체에서 2003년 9월 20일자의 유일IP방문자수는 75명이 된다는 의미입니다.


만약 다른날짜의 유일IP방문자수를 카운트하고자 한다면 다음과 같이 일자부분과 월, 년부분을 바꾸어 주시면 됩니다. 아래는 2003년 9월 21일자 유일IP방문자 수 입니다.

다음은 2003년 9월 22일자 유일IP방문자 수입니다.

필자가 예로든 awk명령어들은 모두 실제 예입니다. 따라서 그대로 따라해 보셔도 무리없이 실행이 됨을 알 수 있습니다. 단, 위의 예와 같이 날짜부분에서 월에 해당하는 문자들은 9월이기때문에 Sep가 된 것이지만, 만약 7월이라면 Jul이 되며, 8월이라면 Aug등으로 해주셔야합니다. 이 부분만 정확하게 알고 계신다면 다양한 응용이 가능합니다.