今天为大家整理了32个Python爬虫项目。整理的原因是，爬虫入门简单快速，也非常适合新入门的小伙伴培养信心。所有链接指向GitHub，祝大家玩的愉快~O(∩_∩)OWechatSogou[1]-微信公众号爬虫。基于搜狗微信搜索的微信公众号爬虫接口，可以扩展成基于搜狗搜索的爬虫，返回结果是列表，每一项均是公众号具体信息字典。DouBanSpider[2]-豆瓣读书爬虫。可以爬下豆瓣读书标签下的所有图书，按评分排名依次存储，存储到Excel中，可方便大家筛选
系统 2019-09-27 17:52:24 2418
对于英文文本分句比较简单，只要根据终结符"."划分就好，中文文本分句看似很简单，但是实现时会遇到很多麻烦，尤其是处理社交媒体数据时，会遇到文本格式不规范等问题。下面代码针对一段一段的短文本组成了文档分句importredefcut_sent(infile,outfile):cutLineFlag=["？","！","。","…"]#本文使用的终结符，可以修改sentenceList=[]withopen(infile,"r",encoding="UTF-8
系统 2019-09-27 17:52:12 2418
使用环境：Win10x64Python：3.6.4SqlServer：2008R2因为近期需要将excel导入到SQLServer，但是使用的是其他语言，闲来无事就尝试着用python进行导入，速度还是挺快的，1w多条数据，也只用了1s多，代码也比较简单，就不多解释了。用到的库有xlrd(用来处理excel)，pymssql(用来连接使用sqlserver)importxlrdimportpymssqlimportdatetime#连接本地sqlserve
系统 2019-09-27 17:48:59 2418
importmatplotlib.pyplotasplt1.plt.plot()#绘图函数参数：color:线条颜色（例如color='b'设置为蓝色,‘g'、'r'、‘y'、'b'、'w'分别为绿红黄黑白）label:线条标签，若要显示需要加plt.legend()linestyle:线条风格（’-‘、’--‘、’:‘、'-.'分别为实线、破折线、虚线、点划线）linewidth:线条宽度marker:标记字符样式（可设置为'.'、'o'等）makers
系统 2019-09-27 17:48:41 2418
微软Office提供基于COM接口的编程。Python通过pywin32可以方便地调用各组件。如果下载和安装pywin32有困难，可以到Sourceforge的镜像网摘查找合适的版本。单一账号importwin32com.clientaswin32defsend_mail():outlook=win32.Dispatch('Outlook.Application')mail_item=outlook.CreateItem(0)#0:olMailItemma
系统 2019-09-27 17:48:33 2418
log日志监测程序运行：可以1⃣️Linux重定向将python运行报错记录到log日志中，2⃣️或者用python内置的logging模块。但是在用logging模块时，try...except...可以捕获到可预见/考虑到的异常，用logging记录到log日志文件中，但是在对于未知异常或导致程序退出时的情形无法记录到log日志中，用Linux的重定向可以捕捉到。现在到问题时我不想用Linux系统提供的重定向方法，我需要捕获python运行中未知的异常
系统 2019-09-27 17:48:08 2418
Ubuntu18.04下使用pyenv安装python报错：BUILDFAILED(Ubuntu18.04usingpython-build20180424)解决方案：执行如下命令：sudoapt-getinstall-ymakebuild-essentiallibssl-devzlib1g-devlibbz2-devlibreadline-devlibsqlite3-devwgetcurlllvmlibncurses5-devlibncursesw5-d
系统 2019-09-27 17:46:45 2418
获取原始数据最近在学习Python，做了一个爬虫程序练练手，前程无忧这个网站页面布局还是挺简单的，适合我这种新手。使用requests+bs4爬取不多说了，先来看看页面布局吧。这是前程无忧上的职位列表，看上去还是很清楚的然后再来看看页面布局，使用Google浏览器打开前程无忧网页，然后按下F12每一个class为el的div就代表一个招聘信息然后再来看看div里面是怎么布局的，我们需要获取第二列公司名称以及第四列的薪资，其他的暂时不管。公司名称在el这个d
系统 2019-09-27 17:45:58 2418
关于缓存剩下的问题是数据的隐私性以及在级联缓存中数据应该在何处储存的问题。通常用户将会面对两种缓存：他或她自己的浏览器缓存（私有缓存）以及他或她的提供者缓存（公共缓存）。公共缓存由多个用户使用，而受其他某人的控制。这就产生了你不想遇到的敏感数据的问题，比如说你的银行账号被存储在公众缓存中。因此，Web应用程序需要以某种方式告诉缓存那些数据是私有的，哪些是公共的。解决方案是标示出某个页面缓存应当是私有的。要在Django中完成此项工作，可使用cache_co
系统 2019-09-27 17:38:43 2418
看流程图，写代码。先看例子，其中T表示True，F表示False。例子1：这个流程图的代码如下的方式编写：do{A;}while(C);例2：例2的代码可以这样写：while(C){A;}请根据以下流程图，编写代码，不能够使用goto，也不能使用if。请在10分钟之内完成此题目。看流程图，写代码。
系统 2019-08-29 23:45:15 2418
