还是分析一下大体的流程:首先还是Chrome浏览器抓包分析元素,这是网址:https://www.douyu.com/directory/all发现所有房间的信息都是保存在一个无序列表中的li中,所以我们可以先获取一个装有li的element对象的列表,然后在对每个element逐一操作分析斗鱼的翻页,有一个下一页按钮,是个li,class="dy-Pagination-item-custom",但是当烦到最后一页的时候,class="dy-Paginat
系统 2019-09-27 17:47:21 1848
python提供了两个非常重要的功能来处理python程序在运行中出现的异常和错误。你可以使用该功能来调试python程序。1.异常处理:本站Python教程会具体介绍。2.断言(Assertions):本站Python教程会具体介绍。python标准异常异常名称描述BaseException所有异常的基类SystemExit解释器请求退出KeyboardInterrupt用户中断执行(通常是输入^C)Exception常规错误的基类StopIterati
系统 2019-09-27 17:47:18 1848
仔细研读后学习了三个函数:eval:计算字符串中的表达式exec:执行字符串中的语句execfile:用来执行一个文件需注意的是,exec是一个语句,而eval()和execfile()则是内建built-in函数。Python2.7.2(default,Jun122011,15:08:59)[MSCv.150032bit(Intel)]onwin32Type"help","copyright","credits"or"license"formoreinf
系统 2019-09-27 17:46:53 1848
读取一个已经保存了的字典f=open('dict_th','r')a=f.read()dict_hi=eval(a)f.close()保存一个字典dict={}list1=[]list2=[]forlineinlines:line=line.strip()if">"inline:list1.append(line)else:list2.append(line)foriinrange():dict[list1[i]]=list2[i]f6=open("dic
系统 2019-09-27 17:46:38 1848
利用twitter/bootstrap,项目的基础模板算是顺利搞定。接下来开始处理用户中心。用户中心主要包括用户登陆、注册以及头像等个人信息维护。此前,用户的注册管理我一直使用django-registration。只是这个APP有些不思进取,09年发布了0.8alpha版后就一直没什么动静。这次决定尝试另外一个用户模块组件django-userena。相比django-registration,django-userena的功能要完善的多。除基础的登陆注
系统 2019-09-27 17:46:12 1848
文|yangrq1018经常在腾讯视频上看电影,在影片库里有一个"豆瓣好评"板块。我一般会在这个条目下面挑电影。但是电影很多,又缺乏索引,只能不停地往下来,让js加载更多的条目。然而前面的看完了,每次找新的片就要拉很久。所以用爬虫将"豆瓣好评"里的电影都爬下来整理到一个表中,方便选片。项目地址:https://github.com/yangrq1018/vqq-douban-film依赖需要如下Python包:requestsbs4-Beautifulso
系统 2019-09-27 17:46:04 1848
安装SDK:pipinstallbaidu-aip如果在pycharm里也可以在setting----ProjectInterpreter---右边绿色加号,输入baidu,安装baidu-aip入门代码:先去百度AI开放平台注册一个账号,然后开通人脸识别,免费的http://ai.baidu.com/tech/face之后把得到的Apikeysecretkey填进去。fromaipimportAipFace"""你的APPIDAKSK"""APP_ID=
系统 2019-09-27 17:45:59 1848
美空网数据----简介从今天开始,我们尝试用2篇博客的内容量,搞定一个网站叫做“美空网”网址为:http://www.moko.cc/,这个网站我分析了一下,我们要爬取的图片在下面这个网址http://www.moko.cc/post/1302075.html然后在去分析一下,我需要找到一个图片列表页面是最好的,作为一个勤劳的爬虫coder,我找到了这个页面http://www.moko.cc/post/da39db43246047c79dcaef44c2
系统 2019-09-27 17:45:41 1848
1、函数实现#-*-coding:utf-8-*-deftail(filename,n=10):withopen(filename,"r")asf:lines=f.readlines()[-n:]return"".join(lines)2、测试文件poetry.txt为了方便验证,每行之前加上行号数字1.虞美人・宜州见梅作2.3.宋代:黄庭坚4.5.天涯也有江南信。6.梅破知春近。7.夜阑风细得香迟。8.不道晓来开遍、向南枝。9.10.玉台弄粉花应妒。11
系统 2019-09-27 17:45:33 1848
在python的lib目录里有一个:this.py,它其实是隐藏着一首诗,源码如下:复制代码代码如下:s="""GurMrabsClguba,olGvzCrgrefOrnhgvshyvforggregunahtyl.Rkcyvpvgvforggregunavzcyvpvg.Fvzcyrvforggregunapbzcyrk.Pbzcyrkvforggregunapbzcyvpngrq.Syngvforggregunaarfgrq.Fcnefrvforggr
系统 2019-09-27 17:38:46 1848