爬蟲代理錯誤狀態碼

網絡爬蟲在使用隧道轉發的爬蟲代理過程中，會遇到許多問題。爲了解決問題，這時候就要觀察HTTP返回的狀態碼是什麼且代表什麼意思？若能理解這些狀態碼的含義，解決問題，就能穩定高效採集數據。
使用隧道轉發的爬蟲代理返回的HTTP狀態碼：
407：表示使用隧道轉發代理信息認證錯誤
429：請求太多，按照所開請求數做管理，控制好每秒請求數
302：一般訪問HTTPS的網站，會出現自動跳轉，這屬於正常現象，如果訪問HTTP網站，出現302就是網站拒絕，需要做爬蟲優化
403：如果是大量403就需要做爬蟲優化
503：大量503有可能是爬蟲限制，需要做爬蟲策略
504：大量504，應該是封IP了，需要做爬蟲優化
200：使用隧道轉發爬蟲代理成功，返回正常數據
使用API優質代理返回HTTP的狀態碼：
429：請求太多，控制好每個代理IP的請求，降低請求或者增加IP量，讓更多的IP分配請求
403、504、503：爬蟲行爲被拒絕，封IP，封爬蟲了。需要做爬蟲優化策略或者加大IP量
隧道轉發爬蟲代理返回的狀態碼有許多，有網站返回的也有代理返回的，具體狀態碼可以參考分析百度，也可以諮詢隧道轉發爬蟲代理的億牛雲。