在这个教材中,我们假定你已经安装了Scrapy。假如你没有安装,你可以参考这个安装指南。我们将会用开放目录项目(dmoz)作为我们例子去抓取。这个教材将会带你走过下面这几个方面:创造一个新的Scrapy项目定义您将提取的Item编写一个蜘蛛去抓取网站并提取Items。编写一个ItemPipeline用来存储提出出来的ItemsScrapy由Python写成。假如你刚刚接触Python这门语言,你可能想要了解这门语言起,怎么最好的利用这门语言。假如你已经熟悉
系统 2019-09-27 17:49:18 1893
先说说线程在多线程中，为了保证共享资源的正确性，我们常常会用到线程同步技术.将一些敏感操作变成原子操作，保证同一时刻多个线程中只有一个线程在执行这个原子操作。我最常用的是互斥锁，也称独占锁。其次还有读写锁，信号量，条件变量等。除此之外，我们在进程间通信时会用到信号，向某一个进程发送信号，该进程中设置信号处理函数，然后当该进程收到信号时，执行某些操作。其实在线程中，也可以接受信号，利用这种机制，我们也可以用来实现线程同步。更多信息见//www.jb51.ne
系统 2019-09-27 17:48:40 1893
在多个文件或者不同语言协同的项目中，python脚本经常需要从命令行直接读取参数。万能的python就自带了argprase包使得这一工作变得简单而规范。PS：optparse包是类似的功能，只不过写起来更麻烦一些。如果脚本很简单或临时使用，没有多个复杂的参数选项，可以直接利用sys.argv将脚本后的参数依次读取(读进来的默认是字符串格式)。比如如下名为test.py的脚本：importsysprint"Inputargumentis%s"%(sys.a
系统 2019-09-27 17:48:12 1893
使用装python饰器做缓存装饰器在之前的文章中有讲过，这里主要是说了装饰器的用法和应该怎么理解。这片文章给出一片补充：主要说在缓存方面的应用。在此之前呢，需要补充一些知识点：就是python查找变量的顺序是什么？答案就是LEGB原则：也就是`Local->Enclosed->Global->Built-in`也就是先在局部作用域内(例如函数内)进行查找，然后在[闭包]1内查找，接下来分别是全局作用域和内置的保留名称注意：闭包内的变量，不能改变，但是对于列
系统 2019-09-27 17:47:18 1893
Python编程中类的概念可以比作是某种类型集合的描述，如“人类”可以被看作一个类，然后用人类这个类定义出每个具体的人――你、我、他等作为其对象。类还拥有属性和功能，属性即类本身的一些特性，如人类有名字、身高和体重等属性，而具体值则会根据每个人的不同；功能则是类所能实现的行为，如人类拥有吃饭、走路和睡觉等功能。具体的形式如下：#例：类的概念class人类:名字='未命名'#成员变量def说话(内容):#成员函数print内容#成员变量赋初始值某人=人类()
系统 2019-09-27 17:47:00 1893
开个贴，用于记录平时经常碰到的Python的错误同时对导致错误的原因进行分析，并持续更新，方便以后查询，学习。知识在于积累嘛！微笑+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++错误:复制代码代码如下:>>>deff(x,y):printx,y>>>t=('a','b')>>>f(t)Traceback(mostrecentcalllast):File"",line1,inf(t)Typ
系统 2019-09-27 17:45:53 1893
前言由于笔者近期的研究课题与图像后处理有关，需要通过图像处理工具对图像进行变换和处理，进而生成合适的训练图像数据。该系列文章即主要记录笔者在不同的环境下进行图像处理时常用的工具和库。在Python环境下，对图像的处理笔者主要使用Pillow库，主要操作包括对图像的读取、存储和变换等。实际应用中，Pillow中提供的Image模块适合对图像整体进行变换处理操作。注：以下介绍仅包括对应模块和函数的基础用法，故而在介绍时省略了部分参数和选项，更完备的用法和介绍可
系统 2019-09-27 17:45:53 1893
目录一、Python进阶实战之三级菜单1.1面条版1.2文艺青年版一、Python进阶实战之三级菜单打印省、市、县三级菜单可返回上一级可随时退出程序1.1面条版menu={'北京':{'海淀':{'五道口':{'soho':{},'网易':{},'google':{}},'中关村':{'爱奇艺':{},'汽车之家':{},'youku':{},},'上地':{'百度':{},},},'昌平':{'沙河':{'老男孩':{},'北航':{},},'天通苑':
系统 2019-09-27 17:45:30 1893
在平时的工程中，我们在构建工程时，常常需要用到配置文件，用来配置项目的一些信息，比如数据库，请求网址，文件夹，线程、进程数等信息，这样就可以方便我们通过修改配置文件中的参数来很好地完成整个项目的功能修改或开发。配置文件一般区别于Python代码，会单独存放在一个文件夹中，方便管理，常见的配置文件格式有.conf,.ini,.yaml等。本文使用Python中的configparser模块来处理conf、ini配置文件。首先需要安装configparser模
系统 2019-09-27 17:45:29 1893
作者：HelloGitHub-ProdesireHelloGitHub的《讲解开源项目》系列，项目地址：https://github.com/HelloGitHub-Team/Article『讲解开源项目系列』启动——让对开源项目感兴趣的人不再畏惧、让开源项目的发起者不再孤单。跟着我们的文章，你会发现编程的乐趣、使用和发现参与开源项目如此简单。欢迎联系我们给我们投稿，让更多人爱上开源、贡献开源～前言你是否好奇过在命令行中敲入一段命令后，它是如何被解析执行的
系统 2019-09-27 17:45:24 1893
