[Solution] 파이썬 웹 크롤링으로 네이버 로그인, 실시간 검색어 추출하기 [1]

사용자 환경 : macOS Sierra 10.12.6, Python 3.6.4, PyCharm 2017.3.4 build PC-173.4674.37.

먼저 웹 크롤링이란 웹 사이트에서 원하는 정보를 자동으로 수집하는 것을 의미한다.

본인은 크롤링을 위해 파이썬 라이브러리인 BeautifulSoup과 Selenium을 사용했다.

첫 번째로 BeautifulSoup을 설치해보자.

https://www.crummy.com/software/BeautifulSoup/#Download

빨간줄을 클릭해 다운을 받고 압축을 해제한다.

본인은 맥을 사용하고 있으므로 터미널을 열어 설치를 마무리한다.

1. 압축을 해제한 폴더로 이동한다.

$> cd (압축푼경로~)/beautifulsoup4-4.6.0/

2. 설치한다.

$> python3 setup.py install

본인은 파이썬 2와 3 버전 모두 설치되어 있으므로 python3라는 키워드를 사용했다.

두 번째로는 Selenium을 설치해보자.

먼저 Selenium은 주로 웹 앱을 테스트하는데 이용하는 프레임워크이다. webdriver라는 API를 통해 운영체제에 설치된 Chrome을 제어한다.

1. 터미널을 이용한 Selenium 설치

$> pip install selenium

2. 크롬이 설치되어 있다는 가정하에 ChromeDriver를 다운 및 설치

https://sites.google.com/a/chromium.org/chromedriver/downloads

본인의 OS에 맞게 다운받자.

다운을 받고 압축을 해제하면 chromedriver라는 파일이 생긴다.

이 파일을 본인이 원하는 디렉터리에 보관한다. 이때 이 디렉터리 경로는 Selenium 객체를 생성할 때 필요하기 때문에 아무 곳에 두지 말자.

이번 포스트에서는 BeautifulSoup, Selenium, ChromeDriver를 설치하는 부분만 살펴봤다.

다음 글에서 직접 다뤄보는 부분을 살펴보자!