淘宝的页面很复杂，如果使用分析ajax或者js的方式，很麻烦抓取淘宝‘美食'上面的所有食品信息spider.py#encoding:utf8importrefromseleniumimportwebdriverfromselenium.common.exceptionsimportTimeoutExceptionfromselenium.webdriver.common.byimportByfromselenium.webdriver.support.ui
系统 2019-09-27 17:50:09 1902
Python数据类型详解——集合一、定义集合跟列表有点像，也是可以存一堆数据的，不过它有几个独特的特点：1、集合里的元素不可变，即不能再集合里存储列表（list）、字典（dict）。字符串、数字、元组等不可变类型可以存储再集合中。2、天生去重，即在集合里不会出现重复元素，就算你故意写入重复元素，集合也会自动去掉重复的，只保留一个。3、无序，集合中的元素没有先后之分。二、语法1、创建集合a={2,321,'Kwan',1,'小明','Kwan',321}2、
系统 2019-09-27 17:50:08 1902
最近要对一系列数据做同比比较，需要用到numpy和pandas来计算，不过使用python安装numpy和pandas因为linux环境没有外网遇到了很多问题就记下来了。首要条件，python版本必须是2.7以上。linux首先安装依赖包yum-yinstallblasblas-devellapack-devellapackyum-yinstallseabornscipyyum-yinstallfreetypefreetype-devellibpnglib
系统 2019-09-27 17:49:31 1902
Python重试模块retrying工作中经常碰到的问题就是，某个方法出现了异常，重试几次。循环重复一个方法是很常见的。比如爬虫中的获取代理，对获取失败的情况进行重试。刚开始搜的几个博客讲的有点问题，建议看官方文档，还有自己动手实验。参考：https://segmentfault.com/a/1190000004085023https://pypi.org/project/retrying/最初的版本importrequestsclassProxyUtil
系统 2019-09-27 17:49:24 1902
ProtocolBuffers（类似XML的一种数据描述语言）最新版本2.3里，protoc―py_out命令只生成原生的Python代码。尽管PB（ProtocolBuffers）可以为C++语言生成快速解析和序列化代码，但是这种方式对于Python不适用，并且手动生成的已包装的代码需要非常大的维护工作。在讨论组里，这是一个常见的功能要求，由于一个必备的客户端组件―AppEngine（根据团队介绍名称为AppEngine），生成原生的Python代码有更
系统 2019-09-27 17:49:21 1902
一.lamda匿名函数为了解决一些简单的需求而设计的一句话函数#计算n的n次方deffunc(n):returnn**nprint(func(10))f=lambdan:n**nprint(f(10))lambda表示的是匿名函数.不需要用def来声明,一句话就可以声明出一个函数语法:函数名=lambda参数:返回值注意:1.函数的参数可以有多个.多个参数之间用逗号隔开2.匿名函数不管多复杂.只能写一行,且逻辑结束后直接返回数据3.返回值和正常的函数一样,
系统 2019-09-27 17:49:16 1902
OS模块基本操作提供对操作系统进行调用的接口importos#导入模块os.getcwd()#获取当前目录(pwd)os.chdir("/Users")#切换到某个指定的目录(cd/Users)os.curdir#返回当前目录('.'、cd.)os.pardir#返回上级目录('..'、cd..)os.makedirs('dirname1/dirname2')#递归创建目录(mkdir-p)os.removedirs('dirname1/dirname2'
系统 2019-09-27 17:49:12 1902
一、用例编写规则1.unittest提供了testcases、testsuites、testfixtures、testrunner相关的类,让测试更加明确、方便、可控。使用unittest编写用例,必须遵守以下规则:（1）测试文件必须先importunittest（2）测试类必须继承unittest.TestCase（3）测试方法必须以“test_”开头（4）测试类必须要有unittest.main()方法2.pytest是python的第三方测试框架,是
系统 2019-09-27 17:49:08 1902
我用了简单工厂和建造者模式，与python的GUI配合实现了一个简单的计算器系统，下面是运行结果，之后会向大家讲解。类图如下：部分代码如下：builderModel.py建造者模式代码classProduct():"""复杂产品类该类用于存放并返回两个操作数Attributes:self.NumOne：第一个操作数self.NumTwo：第二个操作数"""def__init__(self,NumOne,NumTwo):self.__NumOne=NumOn
系统 2019-09-27 17:49:07 1902
前言Python生成器(generator)并不是一个晦涩难懂的概念。相比于MetaClass和Closure等概念，其较为容易理解和掌握。但相对于程序结构：顺序、循环和分支而言其又不是特别的直观。无论学习任何的东西，概念都是非常重要的。正确树立并掌握一些基础的概念是灵活和合理运用的前提，本文将以一种通俗易懂的方式介绍一下generator和yield表达式。1.Iterator与Iterable首先明白两点：Iterator(迭代器)是可迭代对象;可迭代
系统 2019-09-27 17:48:41 1902
