搜索到与相关的文章
Python

python selenium爬取斗鱼所有直播房间信息过程详解

还是分析一下大体的流程:首先还是Chrome浏览器抓包分析元素,这是网址:https://www.douyu.com/directory/all发现所有房间的信息都是保存在一个无序列表中的li中,所以我们可以先获取一个装有li的element对象的列表,然后在对每个element逐一操作分析斗鱼的翻页,有一个下一页按钮,是个li,class="dy-Pagination-item-custom",但是当烦到最后一页的时候,class="dy-Paginat

系统 2019-09-27 17:47:21 2076

Python

python采集博客中上传的QQ截图文件

哎,以前写博文的时候没注意,有些图片用QQ来截取,获得的图片文件名都是类似于QQ截图20120926174732-300×15.png的形式,昨天用ftp备份网站文件的时候发现,中文名在flashfxp里面显示的是乱码的,看起来好难受,所以写了一个python小脚本,爬取整个网站,然后获取每个文章页面的图片名,并判断如果是类似于QQ截图20120926174732-300×15.png的形式就输出并将该图片地址和对应的文章地址保存在文件中,然后通过该文件来

系统 2019-09-27 17:47:21 2076

Python

Python 命令行之旅:深入 argparse(二)

Python命令行之旅:深入argparse(二)作者:HelloGitHub-ProdesireHelloGitHub的《讲解开源项目》系列,项目地址:https://github.com/HelloGitHub-Team/Article前言在上一篇“深入argparse(一)”的文章中,我们深入了解了argparse的包括参数动作和参数类别在内的基本功能,具备了编写一个简单命令行程序的能力。本文将继续深入了解argparse的进阶玩法,一窥探其全貌,助

系统 2019-09-27 17:47:15 2076

Python

python网络爬虫学习笔记之三 Selenium入门

抓取动态的网页内容主要有两种办法,一种是通过开发者工具找到动态内容的接口,然后分析接口的参数和返回值来爬取网站的数据。另外一种是通过模拟浏览器来抓取数据。python的Selenium库就可以通过代码来模拟浏览器抓取数据。一、概述运行Selenium需要依赖于Python的selenium库,以及浏览器对应驱动器(WebDriver)。安装selenium库pipinstallselenium项目地址:https://pypi.org/project/se

系统 2019-09-27 17:47:10 2076

Python

Python3 格式化数字 补零 数字补零

Python中将数字格式化时,有些时候需要将数字格式化,为了显示美观,需要补零。今天在写代码时,看见别人的奇怪写法,觉得有必要在这里把Python更好的写法重写一下。看到的别人的代码foriinrange(99):num_str=str(i)iflen(num_str)>1:num_str='0'+str(i)print(num_str)看到这段代码,我的三观被刷新了。如果补零比较多,确实代码的行数可观。常见和不常见的格式化补零方法foriinrange(

系统 2019-09-27 17:45:59 2076

Python

Python之序列化与反序列化(pickle模块与json模块)

在程序运行的过程中,所有的变量都是在内存中,比如定义一个dict1={“name”:“zhangsan”,“age”:20},我们对name属性进行修改,改"wangwu",但是一旦程序结束,变量所占用的内存就会被操作系统全部回收,如果没有把修改后的name存储到磁盘上,下次重新运行程序,属性name又会被初始化为"zhangsan"。这时候就会使用到序列化与反序列化,将序列化后的内容写入磁盘,这里会讲到pickle模块与json模块去实现序列化与反序列化

系统 2019-09-27 17:45:52 2076

Python

Python里隐藏的“禅”

在python的lib目录里有一个:this.py,它其实是隐藏着一首诗,源码如下:复制代码代码如下:s="""GurMrabsClguba,olGvzCrgrefOrnhgvshyvforggregunahtyl.Rkcyvpvgvforggregunavzcyvpvg.Fvzcyrvforggregunapbzcyrk.Pbzcyrkvforggregunapbzcyvpngrq.Syngvforggregunaarfgrq.Fcnefrvforggr

系统 2019-09-27 17:38:46 2076

Python

Python 登录网站详解及实例

Python登录网站详解及实例对于大部分论坛,我们想要抓取其中的帖子分析,首先需要登录,否则无法查看。这是因为HTTP协议是一个无状态(Stateless)的协议,服务器如何知道当前请求连接的用户是否已经登录了呢?有两种方式:在URI中显式地使用SessionID;利用Cookie,大概过程是登录一个网站后会在本地保留一个Cookie,当继续浏览这个网站的时候,浏览器会把Cookie连同地址请求一起发送过去。Python提供了相当丰富的模块,所以对于这种网

系统 2019-09-27 17:38:24 2076

Python

使用Python脚本将Bing的每日图片作为桌面的教程

微软最近出了个必应bing缤纷桌面,使用下来还是不错,可以每天更换Bing首页的北京作为壁纸,但是该软件有个不好的地方是,安装后桌面上会有一个搜索框出现,很是烦人,而且不能关掉。于是出于技术考虑,想到了使用Python来实现这个功能。正如很多介绍Python书中那样,Python是中胶水语言,用在哪里都是可行的。想要使用Python给桌面设置背景只需要下个模块安装即可:http://sourceforge.net/projects/pywin32/代码非常

系统 2019-09-27 17:38:16 2076

Python

python中函数传参详解

一、参数传入规则可变参数允许传入0个或任意个参数,在函数调用时自动组装成一个tuple;关键字参数允许传入0个或任意个参数,在函数调用时自动组装成一个dict;1.传入可变参数:defcalc(*numbers):sum=0forninnumbers:sum=sum+n*nreturnsum以上定义函数,使用如下:传入多个参数,calc(1,2,3,4)30#函数返回值传入一个列表,nums=[1,2,3]calc(*nums)#通过*将list中的元素作

系统 2019-09-27 17:38:04 2076