Python+selenium+firefox登錄微博並爬取數據(1)

1:環境python3.5,最新 firefox,selenium-3.14.0.

本來準備用無界面的,但是感覺效果不好看出來所以先用有界面的瀏覽器來做。分幾次來慢慢寫。這節先配置好環境。

2:安裝:

Python Selenium庫的版本要對應瀏覽器的版本,不然可能會出現打不開瀏覽器,或者打開瀏覽器,打不開頁面的情況。這個非常重要。

開始時:

我直接 pip install -i https://pypi.douba.com/simple  selenium 。下載的版本不對。(太低了。)

最新版的應該是如下圖的:

切記一定要安裝最新的這個版本 :

Pip install selenium==3.14.0。

接下來 就是下載驅動了:

Github上面下載,地址爲:

https://github.com/mozilla/geckodriver/releases

最新的是這個。他要求的selenium版本要在3.11 之上。所以這裏得尊重一下。開始我沒注意到python 安裝的selenium的版本。導致。訪問頁面一直打不開。

下載後,解壓保存到一個目錄中。我放在了python的安裝目錄下的Script目錄下。因爲這個目錄我配到了環境變量中。

最後去火狐官網下載一個最新的瀏覽器。(安裝過程中有選項,最好把自動升級最好關了)。

這些裝完了,就可以使用了。