背景说明感觉微信公众号算得是比较难爬的平台之一,不过一番折腾之后还是小有收获的。没有用Scrapy(估计爬太快也有反爬限制),但后面会开始整理写一些实战出来。简单介绍下本次的开发环境:python3requestspsycopg2(操作postgres数据库)抓包分析本次实战对抓取的公众号没有限制,但不同公众号每次抓取之前都要进行分析。打开Fiddler,将手机配置好相关代理,为避免干扰过多,这里给Fiddler加个过滤规则,只需要指定微信域名mp.wei
系统 2019-09-27 17:53:47 2097
字串String原本不能像數值一樣有加減乘除運算,但有例外。例如:>>>'Good'+'Morning''GoodMorning'運算子+可將2個字串,串接起來。運算子+有字串Concat功能。同樣,運算子*有迭代Iterator的功能,例如:>>>'Good'*3'GoodGoodGood'這寫法讓Python的程式更簡潔易讀。例如:forkinrange(1,6):print(''*(6-k)+'A'*2*k)這樣簡潔幾行程式即能將此圖形畫出,不是很美
系统 2019-09-27 17:52:44 2097
安装时是需要设置python环境变量的,下载python的时候底下有个小框框(没有默认选中)AddPython3.7toPATH需要选择的,如果没有选择的话,需要自己设置,我一般比较懒,卸载了python重新下载的,让下载器自动设置。然后是python版本问题有人疑问这是64位还是32位,看那个[64bit]是64位,至于后面的on32是在windows上使用的意思,在Linux上使用就显示别的了。然后检查pip的安装如果显示Nomodulenamed-p
系统 2019-09-27 17:51:12 2097
今天先聊一聊在windows/maciOS系统下用venv搭建python轻量级虚拟环境的问题。使用venv搭建的虚拟环境同virtualenv搭建的虚拟环境,即venv可替代virtualenv1.虚拟环境的作用是:搭建独立的python运行环境,不与其他产生冲突就是说,安装在虚拟环境里的所有包,均不会对环境外的其他包产生影响,反之,在虚拟环境下运行时只能调用虚拟环境中安装的包,不会调用外部的包。比如,mac系统自带python2,我搭建了虚拟环境安装p
系统 2019-09-27 17:50:59 2097
1.linux下消息记录关于系统的各种消息一般都会记录在/var/log/messages文件中,有些主机在中默认情况下有可能没有启用,具体配置方法可参考下面这篇博客:系统日志配置/var/log/messages2.python代码实现原理其实很简单,就是读/var/log/messages文件,找到有关usb的信息就可以了。#!/usr/bin/envpythonusbmsg=open("/var/log/messages","r")forlinein
系统 2019-09-27 17:50:15 2097
前言本文主要给大家介绍了关于python图片添加半透明水印的相关资料,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍吧示例代码:#coding:utf-8fromPILimportImage,ImageDraw,ImageFontdefadd_text_to_image(image,text):font=ImageFont.truetype('C:\Windows\Fonts\STXINGKA.TTF',36)#添加背景new_img=Ima
系统 2019-09-27 17:50:09 2097
切片:方便截取list、tuple、字符串部分索引的内容正序切片语法:dlist=doList[0:3]表示,从索引0开始取,直到索引3为止,但不包括索引3。即索引0,1,2,正好是3个元素实例:dolist=[1,3,5,7,9,11]dlist=dolist[0:3]#与range()函数一致含左不含右nlist=dolist[:3]#当开始值为0时,可以不写,效果与dlist一致print(dlist)print(nlist)运行结果:倒序切片语法:
系统 2019-09-27 17:50:00 2097
有几个原因使您可能想用C扩展Zope。最可能的是您有一个已能帮您做些事的现成的C库,但是您对把它转换成Python却不感兴趣。此外,由于Python是解释性语言,所以任何被大量调用的Python代码都将降低您的速度。因此,即使您已经用Python写了一些扩展,您仍然要考虑把其中最常被调用的部分改用C来写。不论哪种方式,扩展Zope都是从扩展Python开始。此外,扩展Python会给您带来其它的好处,因为您的代码将可以从任何Python脚本访问,而不只是从
系统 2019-09-27 17:49:36 2097
博主写了一个智联招聘的爬虫,只要输入职位关键字,就能快速导出智联招聘上的数据,存在excel表里~importrequests,openpyxl#建立excel表joblist=[]wb=openpyxl.Workbook()sheet=wb.activesheet.title='智联招聘数据'sheet['A1']='职位名称'sheet['B1']='薪资'sheet['C1']='工作经验'#爬虫keyword=str(input('请输入查找职位的
系统 2019-09-27 17:49:32 2097
环境:Ubuntu16.4python版本:3.6.4库:wordcloud这次我们要讲的是爬取QQ音乐的评论并制成云词图,我们这里拿周杰伦的等你下课来举例。第一步:获取评论我们先打开QQ音乐,搜索周杰伦的《等你下课》,直接拉到底部,发现有5000多页的评论。这时候我们要研究的就是怎样获取每页的评论,这时候我们可以先按下F12,选择NetWork,我们可以先点击小红点清空数据,然后再点击一次,开始监控,然后点击下一页,看每次获取评论的时候访问获取的是哪几条
系统 2019-09-27 17:49:01 2097