案例:爬取使用搜狗根据指定词条搜索到的页面数据(例如爬取词条为‘周杰伦'的页面数据)importurllib.request#1.指定urlurl='https://www.sogou.com/web?query=周杰伦''''2.发起请求:使用urlopen函数对指定的url发起请求,该函数返回一个响应对象,urlopen代表打开url'''response=urllib.request.urlopen(url=url)#3.获取响应对象中的页面数据:r
系统 2019-09-27 17:53:11 2254
在前面的文章《python小欢喜(六)动画(1)pygame的安装与初步使用》中介绍了如何安装pygame。接下来用pygame开发一个小游戏。游戏界面如下:在游戏窗口中有一个运动的足球,碰到边界或挡板会反弹,玩家通过鼠标的移动,可以拖动挡板左右移动。足球如果碰到窗口下边界,则玩家的生命值减1,如果足球被挡板弹回,则得分数加1。python代码如下:ballGame.py该代码改编自BrysonPayne《TeachYourKidstoCode》第10章的
系统 2019-09-27 17:53:04 2254
首先,糗事百科大家都听说过吧?糗友们发的搞笑的段子一抓一大把,这次我们尝试一下用爬虫把他们抓取下来。友情提示糗事百科在前一段时间进行了改版,导致之前的代码没法用了,会导致无法输出和CPU占用过高的情况,是因为正则表达式没有匹配到的缘故。现在,博主已经对程序进行了重新修改,代码亲测可用,包括截图和说明,之前一直在忙所以没有及时更新,望大家海涵!糗事百科又又又又改版了,博主已经没心再去一次次匹配它了,如果大家遇到长时间运行不出结果也不报错的情况,请大家参考最新
系统 2019-09-27 17:52:43 2254
随着脚本复杂程度增加,配置文件成了必不可少。之前一直使用json文件,当作配置文件。比较之下,configparser库更加适合。下述文件为一个简单的configparser库的配置文件config.ini[testdb]db_port=3306db_host=127.0.0.1db_user=rootdb_passwd=123456#remark[zhfx]target="zy-zhfx"targets=["zy-zhfx"]num=3上述方括号内的[]
系统 2019-09-27 17:52:13 2254
要安装运行Python的容器,那先到https://hub.docker.com/去查找一下,看看有哪些可用的镜像。恩,最高的版本已经是3.8.0b4了,不过考虑下还是安装3.7.4稳定版把。用来安装的虚拟机是Ubuntu18.04服务器版,安装虚拟机就跳过不写了,太简单。为了方便,使用root用户操作。在Ubuntu上安装Docker使用官方脚本,在终端输入curl-fsSLget.docker.com-oget-docker.sh瞬间下载安装脚本:-r
系统 2019-09-27 17:51:05 2254
函数:split()Python中有split()和os.path.split()两个函数,具体作用如下:split():拆分字符串。通过指定分隔符对字符串进行切片,并返回分割后的字符串列表(list)os.path.split():按照路径将文件名和路径分割开一、函数说明1、split()函数语法:str.split(str="",num=string.count(str))[n]参数说明:str:表示为分隔符,默认为空格,但是不能为空('')。若字符串
系统 2019-09-27 17:50:49 2254
习题1:读入文件pmi_days.csv,完成以下操作:1.统计质量等级对应的天数,例如:优:5天良:3天中度污染:2天2.找出PMI2.5的最大值和最小值,分别指出是哪一天。importpandasimportnumpyfile=open(r"pmi_days.csv")df=pandas.read_csv(file)date=df.groupby('质量等级')excellent=dict([xforxindate])['优']good=dict([x
系统 2019-09-27 17:50:40 2254
到现在为止,我们的淘宝教程已经写到了第四篇,前三篇分别是:第一篇:Python模拟登录淘宝,详细讲解如何使用requests库登录淘宝pc端。第二篇:淘宝自动登录2.0,新增Cookies序列化,教大家如何将cookies保存起来。第三篇:Python爬取淘宝商品避孕套,教大家如何爬取淘宝pc端商品信息。今天,我们来看看淘宝系列的第四篇我们在上一篇的时候已经将淘宝数据爬取下来了,但是并没有做数据分析。所以今天这篇文章就是教大家如何去分析数据,得出一些有用的
系统 2019-09-27 17:50:12 2254
Hmac模块其实这个模块类似hashlib模块,它能将一些重要的信息通过算法加密成密文,让信息更具有安全性。关于hmac加密算法的了解:它的全名是哈希运算消息认证码(Hash-basedMessageAuthenticationCode),HMAC利用hash算法,以一个消息M和一个秘钥K作为输入,生成一个定长的消息摘要作为输出。HMAC算法利用已有的hash函数,关键问题是如何使用秘钥。使用importhmac#这个模块和hashlib机制很相似h=hm
系统 2019-09-27 17:49:28 2254
现在拥有了正则表达式这把神兵利器,我们就可以进行对爬取到的全部网页源代码进行筛选了。下面我们一起尝试一下爬取内涵段子网站:http://www.neihan8.com/article/list_5_1.html打开之后,不难看出里面一个一个非常有内涵的段子,当你进行翻页的时候,注意url地址的变化:第一页url:http://www.neihan8.com/article/list_5_1.html第二页url:http://www.neihan8.com
系统 2019-09-27 17:48:39 2254