- 军军小站|张军博客
搜索到与相关的文章
Python

Python爬虫 urllib2的使用方法详解

所谓网页抓取,就是把URL地址中指定的网络资源从网络流中读取出来,保存到本地。在Python中有很多库可以用来抓取网页,我们先学习urllib2。urllib2是Python2.x自带的模块(不需要下载,导入即可使用)urllib2官网文档:https://docs.python.org/2/library/urllib2.htmlurllib2源码urllib2在python3.x中被改为urllib.requesturlopen我们先来段代码:#-*-

系统 2019-09-27 17:48:38 1825

Python

Python Subprocess模块原理及实例

前言其实有一个模块也支持执行系统命令,那个模块就是sys.system,但他执行系统命令会直接通过主进程去执行命令,那假如,该命令的执行需要耗费一个小时,那么主进程会卡一个小时,而不会去干别的事,这样就会导致程序的运行效率低下。如果由subprocess去执行系统命令的时候并不会让主进程去执行,而是主进程会开辟出一个子进程去执行,并不会影响到主进程的运行,主进程该干嘛就干嘛,那么又有个问题,大家都知道进程之间的内存空间是独立的,也就是说进程之间是不能相互访

系统 2019-09-27 17:47:47 1825

Python

Python采集腾讯新闻实例

目标是把腾讯新闻主页上所有新闻爬取下来,获得每一篇新闻的名称、时间、来源以及正文。接下来分解目标,一步一步地做。步骤1:将主页上所有链接爬取出来,写到文件里。python在获取html方面十分方便,寥寥数行代码就可以实现我们需要的功能。复制代码代码如下:defgetHtml(url):page=urllib.urlopen(url)html=page.read()page.close()returnhtml我们都知道html链接的标签是“a”,链接的属性是

系统 2019-09-27 17:47:40 1825

Python

学会爬虫抓取竞争对手数据,《Python3网络爬虫开发实战》PDF高清+源码

众所周知python的拿手好戏就是爬虫抓取数据,性能优秀,抓取时间快,消耗低,这是python的优势。学会了爬虫后那我们就可以抓取竞争对手的数据,可以对数据进行分析,或者拿来使用(作者不赞成这样做哦)。最重要是对数据进行分析,这样对我们的运营自己的产品,提高用户的新增或留存都是很有帮助的,正所谓现在是大数据年代,没有数据我们也能利用别人的数据。那要怎样才能更好去学习python爬虫呢?今天推荐一本最新使用python3的书籍,值得阅读。《Python3网络

系统 2019-09-27 17:47:38 1825

Python

Python 中的 if __name__ == '__main__' 该如何

最近搜索看到这篇文章,讲的很详细。http://blog.konghy.cn/2017/04/24/python-entry-program/这个问题来自于知乎用户的提问,当时看到这个问题,我只是做了下简单的回答。后来我发现,对于很多人来说,更准确的说应该是大部分的Python初学者,对这个问题理解的不是很深刻。所以这里我来做下总结,并试图把这个问题说明白。程序入口对于很多编程语言来说,程序都必须要有一个入口,比如C,C++,以及完全面向对象的编程语言Ja

系统 2019-09-27 17:47:26 1825

Python

用《矛盾论》来解读 Python

点击上方蓝字“Python猫”,免费获得一个公众号大家好,我是猫哥。我对于编程语言跟其它学科的融合非常感兴趣,这种兴趣在创办公众号时就已非常浓烈,因此,几个月来,就做了不少大胆的尝试。不敢说取得了什么“成果”吧,但至少是做到了独树一帜。在这个过程中,我有幸认识了几位“跨界跨学科”的群友:既有学贯多门语言的大佬,也有深夜研读斯宾诺莎伦理学的同学,还有逛遍各种展馆兴趣无边界的能人。非常有趣。今天这篇文章的原作者也挺能跨界的,他很佩服毛主席的《矛盾论》,因此把它

系统 2019-09-27 17:47:24 1825

Python

Python重新引入被覆盖的自带function

幸运的是,这一问题还是很容易解决的,我们只需要使用__builtins__:from__builtins__importintaspy_int这样一来我们又可以重新使用python的int了,但在此时叫做py_int.一个function或变量的被覆盖最常见的原因是在引用时使用了"*":fromsomethingimport*当这样使用import时,我们无法明确的指导究竟引入了哪些变量或function,也无法知道这些变量或function是否会覆盖原来

系统 2019-09-27 17:47:24 1825

Python

树莓派使用python-librtmp实现rtmp推流h264的方法

目的是能使用Python进行rtmp推流,方便在h264帧里加入弹幕等操作。librtmp使用的是0.3.0,使用树莓派noir官方摄像头适配的。通过wireshark抓ffmpeg的包一点点改动,最终可以在red5和斗鱼上推流了。没怎么写过python,有不恰当的地方请包涵。上代码:#--coding:utf-8--#http://blog.csdn.net/luhangleiimportpicameraimporttimeimporttraceback

系统 2019-09-27 17:47:12 1825

Python

Python之密码生成器

介绍这段程序用来随机批量生成一批安全性相对较高的密码,要了解你当前使用的密码强度到底如何?可以试一下这个网站:https://howsecureismypassword.net/他会告诉你计算机需要多久破解你的密码:代码#!python3importrandomprint('''========================密码生成器========================''')numberOfPassword=int(input('要生成几个

系统 2019-09-27 17:47:10 1825

Python

python质数判断

主要是依据质数符合6k+-1的规律,而取除数范围是2至根号nimportmathdeffind_primery(number):#判断1,2,3ifnumberin[2,3]:return1elifnumber==1:return0#能被2或3整除ifnumber%2==0ornumber%3==0:return0#合数#质数判别6k+-1elif(number+1)%6==0or(number-1)%6==0:passelse:return0#合数squ

系统 2019-09-27 17:46:13 1825