在爬取的过程中难免发生ip被封和403错误等等，这都是网站检测出你是爬虫而进行反爬措施，在这里为大家总结一下怎么用IP代理防止被封首先，设置等待时间：常见的设置等待时间有两种，一种是显性等待时间（强制停几秒），一种是隐性等待时间（看具体情况，比如根据元素加载完成需要时间而等待）图1是显性等待时间设置，图2是隐性第二步，修改请求头：识别你是机器人还是人类浏览器浏览的重要依据就是User-Agent，比如人类用浏览器浏览就会使这个样子的User-Agent：'
系统 2019-09-27 17:46:26 2136
本文介绍一个将911袭击及后续影响相关新闻文章的主题可视化的项目。我将介绍我的出发点，实现的技术细节和我对一些结果的思考。简介近代美国历史上再没有比911袭击影响更深远的事件了，它的影响在未来还会持续。从事件发生到现在，成千上万主题各异的文章付梓。我们怎样能利用数据科学的工具来探索这些主题，并且追踪它们随着时间的变化呢？灵感首先提出这个问题的是一家叫做LocalProjects的公司，有人委任它们为纽约的国家911博物馆设置一个展览。他们的展览，Times
系统 2019-09-27 17:38:21 2136
个人博客页面链接：http://www.shihao.online/（django搭建的个人博客，还在完善中）#encoding:utf-8lst=list(map(int,input().split()))'''先使用split()方法对字符串切片，然后使用map()将每个元素依次转换为int型,然后把返回值转换为list型，返回给lstsplit()方法通过指定分隔符对字符串进行切片，默认为所有的空字符，包括空格、换行(\n)、制表符(\t)等。map
系统 2019-09-27 17:32:52 2136
