搜索到与相关的文章
Python

Ubuntu服务器修改默认Python版本

方法一,利用alias,自定指令的别名。当前默认python版本是2.7:同时,也支持python3:使用命令ls/usr/bin/python*查看python地址:使用命令aliaspython='/usr/bin/python3.5'更改默认python版本(设定别名):这个方法在断开之后就无效了。可以在~/.bashrc文件中加入alias命令使它永久生效。方法二,使用update-alternatives命令:输入命令:update-altern

系统 2019-09-27 17:52:47 2043

Python

python-爬虫-网络请求(三)

http.cookiejar前面讲到的cookie的使用,我们首先使用的是浏览器登陆之后,将中间的cookie取出来,之后将其应用到代码中,实现代码请求的功能,但是显然这样并不是非常的完美,如果代码能够自动的获取到cookie并完成后续的工作会更加的完美对于这个http.cookiejar,该模块主要的类有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。对于这四类的作用非别如下:1、CookieJ

系统 2019-09-27 17:50:59 2043

Python

Python 创建子进程模块subprocess详解

最近,我们老大要我写一个守护者程序,对服务器进程进行守护。如果服务器不幸挂掉了,守护者能即时的重启应用程序。上网Google了一下,发现Python有很几个模块都可以创建进程。最终我选择使用subprocess模块,因为在Python手册中有这样一段话:Thismoduleintendstoreplaceseveralother,oldermodulesandfunctions,suchas:os.system、os.spawn*、os.popen*、po

系统 2019-09-27 17:50:33 2043

Python

浅析Python 3 字符串中的 STR 和 Bytes 有什么区别

Python2的字符串有两种:str和Unicode,Python3的字符串也有两种:str和Bytes。Python2的str相当于Python3的Bytes,而Unicode相当于Python3的Bytes。Python2里面的str和Unicode是可以混用的,在都是英文字母的时候str和unicode没有区别。而Python3严格区分文本(str)和二进制数据(Bytes),文本总是Unicode,用str类型,二进制数据则用Bytes类型表示,这

系统 2019-09-27 17:50:25 2043

Python

python爬取盘搜的有效链接实现代码

因为盘搜搜索出来的链接有很多已经失效了,影响找数据的效率,因此想到了用爬虫来过滤出有效的链接,顺便练练手~这是本次爬取的目标网址http://www.pansou.com,首先先搜索个python,之后打开开发者工具,可以发现这个链接下的json数据就是我们要爬取的数据了,把多余的参数去掉,剩下的链接格式为http://106.15.195.249:8011/search_new?q=python&p=1,q为搜索内容,p为页码以下是代码实现:import

系统 2019-09-27 17:48:14 2043

Python

python多协程爬虫示例

写python协程时使用gevent模块和queue模块可以大大提高爬虫速度。在同时爬取多个网站时,原来用for循环一个网站一个网站按循序顺序爬,就像先烧饭后烧菜,两个步骤异步进行。使用多协程可以让爬虫自己选择爬取顺序,就像边烧饭边烧菜,两个步骤同步进行,速度自然快了。不多说了,来看下代码吧:fromgeventimportmonkeymonkey.patch_all()#打上多协程布丁,下面的程序就可以执行多协程了importrequests,geven

系统 2019-09-27 17:47:59 2043

Python

python生成器和列表解析

什么是生成器?可以理解为一种数据类型,这种数据自动实现了迭代器协议(其他数据类型需要调用自己内置的_iter_方法),所以生成器就是可迭代对象python提供生成器的两种表现形式:1.生成器函数:常规函数的定义,但是,使用yield语句而不是return语句返回结果。yield语句一次返回一个结果,在每个结果中间,挂起函数的状态,以便下次从它离开的地方继续执行。**函数里有yiled,执行函数就是一个生成器,不管yield位置在哪。采集函数创建生成器时,如

系统 2019-09-27 17:46:40 2043

Python

python scrapy爬虫代码及填坑

涉及到详情页爬取目录结构:kaoshi_bqg.pyimportscrapyfromscrapy.spidersimportRulefromscrapy.linkextractorsimportLinkExtractorfrom..itemsimportBookBQGItemclassKaoshiBqgSpider(scrapy.Spider):name='kaoshi_bqg'allowed_domains=['biquge5200.cc']start_

系统 2019-09-27 17:46:11 2043

Python

Python2.6版本中实现字典推导 PEP 274(Dict

之前自己也遇到过一次,这段时间在群里也遇到过几次的一个问题用python2.7写的一段程序,里面用到了字典推导式,但是服务器版本是python2.6,无法运行。今天查了下关于DictComprehensions,在pep274中有明确的说明。http://legacy.python.org/dev/peps/pep-0274/复制代码代码如下:ImplementationAllimplementationdetailswereresolvedinthePy

系统 2019-09-27 17:38:19 2043

Python

Python提取网页中超链接的方法

下面是最简单的实现方法,先将目标网页抓回来,然后通过正则匹配a标签中的href属性来获得超链接代码如下:importurllib2importreurl='http://www.sunbloger.com/'req=urllib2.Request(url)con=urllib2.urlopen(req)doc=con.read()con.close()links=re.findall(r'href\=\"(http\:\/\/[a-zA-Z0-9\.\/]

系统 2019-09-27 17:38:07 2043