파이썬기초111 :웹크롤링을 위한 selenium

셀리니엄 설치 

pip install selenium 으로 설치한다. 

뷰티풀스프 설치 

pip install bs4 

셀리니엄은 webdriver라는 것을 통해 디바이스에 설치된 브라우저를 핸들링한다. 

크롬 드라이버 

https://sites.google.com/a/chromium.org/chromedriver/downloads

운영체제별로 나와 있는 것을 받는다. Chromedriver_win32.zip을 받아서 압축을 풀면 된다. 

실행파일을 c:\work로 복사한다. 

PhamtomJS webdriver는 웹테스팅을 위한 나온 headless browser이다. 

http://phantomjs.org/download.html

위의 주소에서 받을 수 있다. 압축파일을 받아서 실행파일만(\bin폴더) 복사한다. 

코드는 아래와 같다. 네이버 페이로 결제한 리스트가 있으면 그 문자열을 받아오는 코드이다. 

from selenium import webdriver

driver = webdriver.Chrome('c:\\work\\chromedriver')

driver.implicitly_wait(3)

driver.get('https://google.com')

driver.get('https://nid.naver.com/nidlogin.login')

driver.find_element_by_name('id').send_keys('naver_id')

driver.find_element_by_name('id').send_keys('naver_id')

driver.find_element_by_name('id').send_keys('my id')

driver.find_element_by_name('pw').send_keys('my pwd')

driver.get('https://order.pay.naver.com/home')

html = driver.page_source

from bs4 import BeautifulSoup

soup = BeautifulSoup(html, 'html.parser')

notices = soup.select('div.p_inr > div.p_info > a > span')

for n in notices:

    print(n.text.strip())