汇总整理一套Python网页爬虫，文本处理，科学计算，机器学习和数据挖掘的兵器谱。1.Python网页爬虫工具集一个真实的项目，一定是从获取数据开始的。无论文本处理，机器学习和数据挖掘，都需要数据，除了通过一些渠道购买或者下载的专业数据外，常常需要大家自己动手爬数据，这个时候，爬虫就显得格外重要了，幸好，Python提供了一批很不错的网页爬虫工具框架，既能爬取数据，也能获取和清洗数据，也就从这里开始了：1.1Scrapy鼎鼎大名的Scrapy，相信不少同学
系统 2019-09-27 17:53:22 2141
什么是特殊方法？当我们在设计一个类的时候，python中有一个用于初始化的方法$__init__$，类似于java中的构造器，这个就是特殊方法，也叫作魔术方法。简单来说，特殊方法可以给你设计的类加上一些神奇的特性，比如可以进行python原生的切片操作，迭代、连乘操作等。在python中，特殊方法以双下划线开始，以双下划线结束。一个大例子数学中有一个表示数的概念叫做向量，但是python中的数据类型却没有。我们来设法用python实现它。首先考虑，向量跟普
系统 2019-09-27 17:53:07 2141
安装pydensecrf时报错：(venv)dorothy@dorothy-MS-7A94:~/project/venv/bin$pipinstallpydensecrfCollectingpydensecrfUsingcachedhttps://files.pythonhosted.org/packages/31/5a/1c2ab48e8019d282c128bc5c621332267bb954d32eecdda3ba57306b1551/pydense
系统 2019-09-27 17:52:21 2141
通过纯Python完成股票回测框架的搭建。什么是回测框架?无论是传统股票交易还是量化交易，无法避免的一个问题是我们需要检验自己的交易策略是否可行，而最简单的方式就是利用历史数据检验交易策略，而回测框架就是提供这样的一个平台让交易策略在历史数据中不断交易，最终生成最终结果，通过查看结果的策略收益，年化收益，最大回测等用以评估交易策略的可行性。代码地址在最后。本项目并不是一个已完善的项目,还在不断的完善。回测框架回测框架应该至少包含两个部分,回测类,交易类.回
系统 2019-09-27 17:51:37 2141
在Python3.x的世界里，cmp函数没有了。那么sorted,min,max等需要比较函数作为参数的函数该如何用呢？以min函数的定义为例，有两种重载形式：单参数（一个迭代器）：复制代码代码如下:min(iterable[,key=func])->value多参数（多个待比较内容）：复制代码代码如下:min(a,b,c,...[,key=func])->value本文主要讨论key=func参数的使用。举例说明吧：1.自定义对象的比较我定义了一个类te
系统 2019-09-27 17:48:44 2141
先从搭建环境开始。作为一个Python初学者来说，一个趁手的编译器是很重要的，本想用VS来开发Python，但是感觉实际开发中没有几家公司会用VS来开发Python，没办法就换成了MyEclipse。一、首先下载和安装Myeclipse就略过了。二、安装Python。一般的开发环境是在linux，网上很多教程和视频也都是在linux下配置和开发的。我的开发环境是64位win8系统，先从官网下载64位的Python安装程序。可以从这里选择要下载的版本http
系统 2019-09-27 17:48:04 2141
Python内置了一些非常有趣、有用的函数，如：filter、map、reduce，都是对一个集合进行处理，filter很容易理解用于过滤，map用于映射，reduce用于归并.是Python列表方法的三架马车。1.filter函数的功能相当于过滤器。调用一个布尔函数bool_func来迭代遍历每个seq中的元素；返回一个使bool_seq返回值为true的元素的序列。>>>N=range(10)>>>printfilter(lambdax:x>5,N)[
系统 2019-09-27 17:47:27 2141
正则表达式是Python程序设计中非常实用的功能，本文就常用的正则表达式做一汇总，供大家参考之用。具体如下：一、字符串替换1.替换所有匹配的子串用newstring替换subject中所有与正则表达式regex匹配的子串result,number=re.subn(regex,newstring,subject)2.替换所有匹配的子串（使用正则表达式对象）reobj=re.compile(regex)result,number=reobj.subn(news
系统 2019-09-27 17:46:38 2141
装饰器基本概念大家都知道装饰器是一个很著名的设计模式，经常被用于AOP(面向切面编程)的场景，较为经典的有插入日志，性能测试，事务处理，Web权限校验，Cache等。Python语言本身提供了装饰器语法（@），典型的装饰器实现如下：@function_wrapperdeffunction():pass@实际上是python2.4才提出的语法糖，针对python2.4以前的版本有另一种等价的实现：deffunction():passfunction=func
系统 2019-09-27 17:45:57 2141
使用命令行时，如果要添加选项的话，python2.3里新增加了一个模块叫optparse，也是专门来处理命令行选项的。复制代码代码如下:fromoptparseimportOptionParserparser=OptionParser()parser.add_option("-p","--pdbk",action="store_true",dest="pdcl",default=False,help="writepdbkdatatooracledb")pa
系统 2019-09-27 17:38:37 2141
