Scrapy官方介绍是Anopensourceandcollaborativeframeworkforextractingthedatayouneedfromwebsites.Inafast,simple,yetextensibleway.意思就是一个开源和协作框架，用于以快速，简单，可扩展的方式从网站中提取所需的数据。环境准备本文项目使用环境及工具如下python3scrapymongodbpython3scrapy的安装就不再叙述mongodb是用来存
系统 2019-09-27 17:46:17 2112
概述在我们使用内置打印函数print时，打印出的Python数据结构对象总是一行的输出的方式，这样对数据结构较复杂或数据较多的对象的显示并不美观，这时我们可以利用pprint输出美化数据结构对象。pprint方法概览美化输出我们可以利用pprint中的PrettyPrinter控制输出的打印时的缩进，行宽、甚至打印深度等，定义类如下classpprint.PrettyPrinter（indent=1，width=80，depth=None，stream=N
系统 2019-09-27 17:45:58 2112
【import模块】和C中的#include不同，Python中的import语句并不是简单的把一个文件插入另外一个文件。导入其实是运行时的运算，程序第一次导入指定文件时，会执行以下步骤，1.找到模块文件2.编译成位码3.执行模块中的代码来创建所定义的模块并生成.pyc字节码文件，这三个步骤只在程序执行时，模块第一次导入时会进行。之后导入相同的模块时，会跳过这三个步骤，而只提取内存中已加载的模块对象，速度要快的多。NOTE:1.Python把已加载的模块放
系统 2019-09-27 17:45:52 2112
1、需求我们的代码已经变得无法阅读，到处都是硬编码的切片索引，我们想优化他们。2、解决方案代码中如果有很多硬编码的索引值，将导致可读性和维护性都不佳。内置的slice()函数会创建一个切片对象，可以用在任何运行进行切片操作的地方。items=[0,1,2,3,4,5,6]a=slice(2,4)print(items[2:4])print(items[a])items[a]=[10,11,12,13]print(items)delitems[a]print
系统 2019-09-27 17:38:37 2112
问题在平时工作中，遇到了这样的错误：UnicodeDecodeError:'ascii'codeccan'tdecodebyte想必大家也都碰到过，很常见。于是决定对python的编码做一个整理和学习。基础知识在python2.x中，有两种数据类型，unicode和str，这两个都是basestring的子类>>>a='中'>>>type(a)>>>isinstance(a,basestring)True>>>a=u'中'>>>type(a)>>>isin
系统 2019-09-27 17:38:31 2112
一直用的是python2，从python2.3到python2.7.6，出于想了解python3的新特性，又安装了python3.3.3.用了才发现蛮方便的。python的各个版本是独立共存的，不相互冲突的。下面说下如何操作:1.独自安装好python2.7.6和python3.3.32.修改注册表:打开->regeditHKEY_CLASSES_ROOT\Python.File\shell\open\command的默认值修改为"C:\Python27\
系统 2019-09-27 17:37:47 2112
1去重2满足一定条件的筛选
系统 2019-08-29 23:52:28 2112
摘要:这本书看了一段时间，一直没有上手，今天刚才北京回来，新的项目需要提供一个原型，感觉比较适合ROR的开发方式，决定把《AgileWebDevelopmentwithRails》中的例子，走一遍，看一下开发的效果。阅读全文Duiker2007-03-1316:44发表评论AgileWebDevelopmentwithRails读书笔记（一）
系统 2019-08-29 23:36:56 2112
目的：导出的Excel模板，某些单元格要是文本形式，如下图我之前想当然的用cell.setCellType(HSSFCell.CELL_TYPE_STRING)，但是发现没有效果。实际POI对Excel单元格格式的设置是用HSSFDataFormat这个类。如下代码可以实现设置为文本格式：HSSFCellStylecellStyle=workbook.createCellStyle();HSSFDataFormatformat=workbook.creat
系统 2019-08-29 23:33:06 2112
开源项目是提高自身能力和做你喜欢的事的好方法，有其他项目的实际经验也能让你更符合求职要求,给你带来更多的机会。问题是大家都不知道从哪里开始。以下6个简单的提示告诉你如何开始F/OSS(FreeandOpenSourceSoftware).1.参与那些你使用过的开源软件背后的项目这很显然，请不要去寻找那些你既没用过也不了解的软件的项目。根据你用过的开源软件，来列一个你可能会参与的开源项目清单。不要遗漏了参与库文件或模块开发的可能——参与专门为开发者服务服务的
系统 2019-08-29 23:20:19 2112
