搜索到与相关的文章
Python

零基础写python爬虫之使用Scrapy框架编写爬虫

网络爬虫,是在网上进行数据抓取的程序,使用它能够抓取特定网页的HTML数据。虽然我们利用一些库开发一个爬虫程序,但是使用框架可以大大提高效率,缩短开发时间。Scrapy是一个使用Python编写的,轻量级的,简单轻巧,并且使用起来非常的方便。使用Scrapy可以很方便的完成网上数据的采集工作,它为我们完成了大量的工作,而不需要自己费大力气去开发。首先先要回答一个问题。问:把网站装进爬虫里,总共分几步?答案很简单,四步:新建项目(Project):新建一个新

系统 2019-09-27 17:54:44 2131

Python

python ChainMap 合并字典的实现步骤

字典是Python语言中唯一的映射类型。映射类型对象里哈希值(键,key)和指向的对象(值,value)是一对多的的关系,通常被认为是可变的哈希表。字典对象是可变的,它是一个容器类型,能存储任意个数的Python对象,其中也可包括其他容器类型。字典类型与序列类型的区别:1.存取和访问数据的方式不同。2.序列类型只用数字类型的键(从序列的开始按数值顺序索引);3.映射类型可以用其他对象类型作键(如:数字、字符串、元祖,一般用字符串作键),和序列类型的键不同,

系统 2019-09-27 17:54:02 2131

Python

Python内存管理机制 之 垃圾回收

参考链接:https://www.cnblogs.com/alexzhang92/p/9416692.htmlhttps://www.cnblogs.com/neillee/p/6259590.html目录一、基本知识二、GC垃圾回收1、引用计数引用计数的增减引用计数法有很明显的优点:引用计数机制的缺点:2、画说Ruby与Python垃圾回收2.1应用程序那颗跃动的心一个简单的例子免费清单在Python中分配对象Ruby开发人员住在凌乱的房子里Python

系统 2019-09-27 17:53:41 2131

Python

Python传递参数的多种方式(小结)

一位置传递没什么好过多讲解.#位置传递实例:deffun1(a,b,c):returna+b+cprint(fun1(1,2,3))输出:6二关键字传递更具每个参数的名字写入函数参数#关键字传递deffun2(a,b,c):returna+b+cprint(fun2(1,c=3,b=2))输出:6三参数默认值传递给函数的输入参数设定一个默认值,如果该参数最终没有输入,则使用默认参数出入函数.#默认值传递deffun3(a,b=2,c=3):returna+

系统 2019-09-27 17:52:29 2131

Python

Python中使用PIL库实现图片高斯模糊实例

一、安装PILPIL是PythonImagingLibrary简称,用于处理图片。PIL中已经有图片高斯模糊处理类,但有个bug(目前最新的1.1.7bug还存在),就是模糊半径写死的是2,不能设置。在源码ImageFilter.py的第160行:所以,我们在这里自己改一下就OK了。项目地址:http://www.pythonware.com/products/pil/二、修改后的代码代码如下:复制代码代码如下:#-*-coding:utf-8-*-fro

系统 2019-09-27 17:52:23 2131

Python

python内存动态分配过程详解

一、前言大多数编译型语言,变量在使用前必须先声明,其中C语言更加苛刻:变量声明必须位于代码块最开始,且在任何其他语句之前。其他语言,想C++和java,允许“随时随地”声明变量,比如,变量声明可以在代码块的中间,不过仍然必须在变量被使用前声明变量的名字和类型。在Python中,无序此类显式变量声明语句,变量在第一次被赋值时自动声明。和其他大多数语言一样,变量只有被创建和赋值后才能被使用。#变量未声明>>>xTraceback(mostrecentcalll

系统 2019-09-27 17:52:14 2131

Python

Python压缩和解压缩zip文件

zip文件是我们经常使用的打包格式之一,python解压和压缩zip效率非凡。python解压zip文档:复制代码代码如下:#/usr/bin/python#coding=utf-8importos,sys,timeimportzipfilefilename='callofdutyblackopszombies_1349649132343_my.zip'#要解压的文件filedir='data/'#解压后放入的目录r=zipfile.is_zipfile(

系统 2019-09-27 17:52:13 2131

Python

Python学习笔记之列表和成员运算符及列表相关方法详解

本文实例讲述了Python学习笔记之列表和成员运算符及列表相关方法。分享给大家供大家参考,具体如下:列表和成员运算符列表可以包含我们到目前为止所学的任何数据类型并且可以混合到一起。lst_of_random_things=[1,3.4,'astring',True]#这是一个包含4个不同类型元素的列表print(lst_of_random_things[0])#1获取上述列表的第一个值和最后一个值print(lst_of_random_things[0])

系统 2019-09-27 17:50:44 2131

Python

Python中使用gzip模块压缩文件的简单教程

压缩数据创建gzip文件先看一个略麻烦的做法importStringIO,gzipcontent='Lifeisshort.Iusepython'zbuf=StringIO.StringIO()zfile=gzip.GzipFile(mode='wb',compresslevel=9,fileobj=zbuf)zfile.write(content)zfile.close()但其实有个快捷的封装,不用用到StringIO模块f=gzip.open('fil

系统 2019-09-27 17:50:34 2131

Python

使用Pyrex来扩展和加速Python程序的教程

Pyrex是一种专门设计用来编写Python扩展模块的语言。根据PyrexWeb站点的介绍,“它被设计用来在友好易用的高级Python世界和凌乱的低级C世界之间搭建一个桥梁。”虽然几乎所有的Python代码都可以作为有效的Pyrex代码使用,但是您可以在Pyrex代码中添加可选的静态类型声明,从而使得这些声明过的对象以C语言的速度运行。加速Python从某种意义上来说,Pyrex只是不断发展的Python类语言系列的一个部分:Jython、IronPyth

系统 2019-09-27 17:49:56 2131