模块安装：数据操作用到的模块pymysql，需要通过pipinstallpymysql进行安装。redis操作用的模块是redis，需要通过pipinstallredis进行安装。检验是否安装成功：进入到Python命令行模式，输入importpymysql、importredis，无报错代表成功；mysql操作方法如下：查询数据：fetchone、fetchmany(n)、fetchall()importpymysql#建立mysql连接,ip、端口、用
系统 2019-09-27 17:54:49 1690
前面说到了urllib2的简单入门，下面整理了一部分urllib2的使用细节。1.Proxy的设置urllib2默认会使用环境变量http_proxy来设置HTTPProxy。如果想在程序中明确控制Proxy而不受环境变量的影响，可以使用代理。新建test14来实现一个简单的代理Demo：复制代码代码如下:importurllib2enable_proxy=Trueproxy_handler=urllib2.ProxyHandler({"http":'ht
系统 2019-09-27 17:54:48 1690
之前想爬取一些淘宝的数据，后来发现需要登录，找了很多的资料，有个使用request的sessions加上cookie来登录的，cookie的获取在登录后使用开发者工具可以找到。不过这个登录后获得的网页的代码是静态的，获取动态网页还得另寻他法，一般需要的数据可以在网页的源码中得到，但是你知道的，有些动态加载的就不是那么简单了，而且我发现这样获得的源码中，有些想要获取的数据的格式是经过改动的，比如我要某个商品的具体链接，发现并不能直接使用。总体而言，这是一次失
系统 2019-09-27 17:54:47 1690
实例如下：#-*-coding:utf-8-*-fromnumpyimport*importnumpyasnpimportpandasaspdfrommathimportlogimportoperator#计算数据集的香农熵defcalcShannonEnt(dataSet):numEntries=len(dataSet)labelCounts={}#给所有可能分类创建字典forfeatVecindataSet:currentLabel=featVec[-
系统 2019-09-27 17:54:47 1690
前面十章爬虫笔记陆陆续续记录了一些简单的Python爬虫知识，用来解决简单的贴吧下载，绩点运算自然不在话下。不过要想批量下载大量的内容，比如知乎的所有的问答，那便显得游刃不有余了点。于是乎，爬虫框架Scrapy就这样出场了！Scrapy=Scrach+Python，Scrach这个单词是抓取的意思，Scrapy的官网地址：点我点我。那么下面来简单的演示一下Scrapy的安装流程。具体流程参照：//www.jb51.net/article/48607.htm
系统 2019-09-27 17:54:46 1690
pythonurlliburlopen()对象方法/代理的补充说明urllib是python自带的一个抓取网页信息一个接口，他最主要的方法是urlopen()，是基于python的open()方法的。下面是主要说明：urllib.urlopen('网址')这里传入urlopen()的参数有特别说要求，要遵循一些网络协议，比如http,ftp,也就是说，在网址的开头必须要有http://这样的说明，如：urllib.urlopen('http://www.b
系统 2019-09-27 17:54:45 1690
邻近算法（k-NearestNeighbor)是机器学习中的一种分类（classification）算法，也是机器学习中最简单的算法之一了。虽然很简单，但在解决特定问题时却能发挥很好的效果。因此，学习kNN算法是机器学习入门的一个很好的途径。kNN算法的思想非常的朴素，它选取k个离测试点最近的样本点，输出在这k个样本点中数量最多的标签（label）。我们假设每一个样本有m个特征值（property），则一个样本的可以用一个m维向量表示:X=（x1，x2，.
系统 2019-09-27 17:54:43 1690
前言今天我们再说一下pytest框架和unittest框架相同的fixture的使用，了解unittest的同学应该知道我们在初始化环境和销毁工作时，unittest使用的是setUp，tearDown方法，那么在pytest框架中同样存在类似的方法，今天我们就来具体说明。先附上官方文档的一段说明1.每个级别的setup/teardown都可以多次复用2.如果相应的初始化函数执行失败或者被跳过则不会执行teardown方法3.在pytest4.2之前，xu
系统 2019-09-27 17:54:40 1690
闭包是Python装饰器的基础。要理解闭包，先要了解Python中的变量作用域规则。变量作用域规则首先，在函数中是能访问全局变量的：>>>a='globalvar'>>>deffoo():print(a)>>>foo()globalvar然后，在一个嵌套函数中，内层函数能够访问在外层函数中定义的局部变量：>>>deffoo():a='freevar'defbar():print(a)returnbar>>>foo()()freevar闭包上面的嵌套函数就是
系统 2019-09-27 17:54:39 1690
《Python3爬虫、数据清洗和可视化实战》零一韩要宾黄园园著第九章：pandas数据清理9.1数据读写、选择、整理和描述Pandas是用来数据清洗的Python库，由于它的依赖库很多，所以建议还是下载anaconda，里面内置了相关库。9.1.1读取CSV数据df=pd.read_csv(“csv_path”,delimiter=”,”,encoding=””)参数说明：“csv_path”,CSV文件路径；delimiter=”,”：分隔方式；enco
系统 2019-09-27 17:54:37 1690
