HOME > 게시판 > 데이터베이스
게시판| 데이터베이스
※ 게시판 용도에 맞지 않는 글(광고및 홍보 글 등)은 임의삭제될 수 있습니다.

 
작성일 : 14-05-31 00:49
wget 문제 및 쉘스크립트를 이용한 자동 다운로드 및 DB(MySQL) 업데이트 방법..
 글쓴이 : 경동수
조회 : 1,111  
리눅스 초보 입니다.
배우는 입장에서 업무를 맡았는데 어찌해야 할지 몰라 이렇게 질문 드려요.

첫 번째는 http://www.findmice.org/report.txt?repositories='센터이름'&results='총 row의 수'

ex) http://www.findmice.org/report.txt?repositories=NIG&results=142
이러한 주소로부터 파일을 가져오고 싶은데 파일 내용의 일부만 받아지고 아래의 문구에서 멈춥니다...

$ wget http://www.findmice.org/report.txt?repositories=NIG&results=142
[1] 3630
kirke@kirke-S30-0M:~$ --2014-05-31 00:29:58--  http://www.findmice.org/report.txt?repositories=NIG
Resolving www.findmice.org (www.findmice.org)... 64.147.54.29
Connecting to www.findmice.org (www.findmice.org)|64.147.54.29|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/plain]
Saving to: `report.txt?repositories=NIG'

    [ <=>                                             ] 1,843       --.-K/s   in 0s      

2014-05-31 00:30:07 (47.6 MB/s) - `report.txt?repositories=NIG' saved [1843]

이러한 형식으로 모은 데이터를 MySQL을 이용하여 DB를 구축하고자 합니다.

두 번째는 이 DB를 주기적으로 자동 업데이트가 되게금하고 싶습니다.
사용할 줄 아는 언어는 Python밖에 없고 현재 자바를 공부하고 있는 중입니다.

혹시 외부 DB나 웹서버로부터 데이터를 모아 cooking하고 나만의 DB를 만들 때 참고할만한 내용이 있으시면

강의, PPT, 문서, 리플 어떠한 형태로든 공유 부탁 드립니다.

 

이 글을 트위터로 보내기 이 글을 페이스북으로 보내기

도리 14-06-04 12:03
 
1.
 wget 'http://www.findmice.org/report.txt?repositories=NIG&results=142'
 이렇게 싱글쿼텐션을 하세요. 그렇지 않으면 &는 데몬으로 돌리기위한 특수문자로 인식됩니다.

2. python으로도 가능합니다.