在爬取的过程中难免发生ip被封和403错误等等，这都是网站检测出你是爬虫而进行反爬措施，在这里为大家总结一下怎么用IP代理防止被封首先，设置等待时间：常见的设置等待时间有两种，一种是显性等待时间（强制停几秒），一种是隐性等待时间（看具体情况，比如根据元素加载完成需要时间而等待）图1是显性等待时间设置，图2是隐性第二步，修改请求头：识别你是机器人还是人类浏览器浏览的重要依据就是User-Agent，比如人类用浏览器浏览就会使这个样子的User-Agent：'
系统 2019-09-27 17:46:26 2350
前言：大家跟我一起念，Python大法好，跟着本宝宝用Python抢火车票首先我们需要splinter安装：pipinstallsplinter-ihttp://pypi.douban.com/simple--trusted-hostpypi.douban.com然后还需要一个浏览器的驱动，当然用chrome啦下载地址：http://chromedriver.storage.googleapis.com/index.html?path=2.20/根据下载的
系统 2019-09-27 17:45:45 2350
阅读更多最近尝试使用request来发送上传文件的post请求，网上找了很多直接post文件的例子，借鉴发现这个方法行不通，于是尝试了另外一种方式：通过第三方包requests_toolbelt讲文件转为数据流来发送请求，尝试成功。第一类，单个文件，包含在消息体#-*-coding:utf-8-*-importrequests#引入requests_toolbelt包，直接使用数据流来发送上传文件的post请求fromrequests_toolbelt.m
系统 2019-09-27 17:45:25 2350
