《Python3爬虫、数据清洗和可视化实战》零一韩要宾黄园园著第九章：pandas数据清理9.1数据读写、选择、整理和描述Pandas是用来数据清洗的Python库，由于它的依赖库很多，所以建议还是下载anaconda，里面内置了相关库。9.1.1读取CSV数据df=pd.read_csv(“csv_path”,delimiter=”,”,encoding=””)参数说明：“csv_path”,CSV文件路径；delimiter=”,”：分隔方式；enco
系统 2019-09-27 17:54:37 1818
本文实例讲述了Python访问MySQL封装的常用类。分享给大家供大家参考。具体如下：python访问mysql比较简单,下面整理的就是一个很简单的Python访问MySQL数据库类。自己平时也就用到两个mysql函数：查询和更新，下面是自己常用的函数的封装，大家拷贝过去直接可以使用。文件名：DBUtil.py复制代码代码如下:#-*-encoding:utf8-*-'''@author:crazyant.net@version:2013-10-22封装的
系统 2019-09-27 17:54:30 1818
【摘要】在前一章中，我们已经成功尝试分析Ajax来抓取相关数据，但是并不是所有页面都可以通过分析Ajax来完成抓取。比如，淘宝，它的整个页面数据确实也是通过Ajax获取的，但是这些Ajax接口参数比较复杂，可能会包含加密密钥等，所以如果想自己构造Ajax参数，还是比较困难的。对于这种页面，最方便快捷的抓取方法就是通过Selenium。本节中，我们就用Selenium来模拟浏览器操作，抓取淘宝的商品信息，并将结果保存到MongoDB。1.本节目标本节中，我们
系统 2019-09-27 17:54:29 1818
戳这里~小结Python的函数具有非常灵活的参数形态，既可以实现简单的调用，又可以传入非常复杂的参数。默认参数一定要用不可变对象，如果是可变对象，程序运行时会有逻辑错误！要注意定义可变参数和关键字参数的语法：*args是可变参数，args接收的是一个tuple；**kw是关键字参数，kw接收的是一个dict。以及调用函数时如何传入可变参数和关键字参数的语法：可变参数既可以直接传入：func(1,2,3)，又可以先组装list或tuple，再通过*args传
系统 2019-09-27 17:54:27 1818
python内部自带大整数运算能力，整数运算不会溢出，只要内存足够，就oK下面的例子演示了两个32位整数加法的情况（通过位运算实现），为了模拟溢出的效果，必须人工的进行位运算，~运算符除了求反，还是二进制的补运算符，运算过后的二进制数字按照补码解释，例如~（00111100）=（11000011）=-61defgetSum(a,b):""":typea:int:typeb:int:rtype:int"""MAX=0X7fffffffMIN=0X800000
系统 2019-09-27 17:54:25 1818
一些讨论Python中使用配置文件的最佳实践Python中使用配置文件的最好方法Python符号常量多种配置文件方案对比我的建议1.排除yamlyaml不是一个好主意，因为需要给项目引入额外的依赖。首先排除它，除非是你的个人项目,或者你的项目已经引入了这个package。2.使用setting.py如果你只是需要配置一些全局的符号常量(symbolicconstants),参考Django的做法，使用setting.py，参见：https://github
系统 2019-09-27 17:54:23 1818
操作系统：windows10安装模块：Pillowpytesseracttesseract-ocr1、首先安装Pillow，可以选择安装windows版的安装包下载地址：https://pypi.org/project/Pillow/#files此处我选择安装Pillow-6.1.0.win-amd64-py2.7.exe2、安装完成后再进行安装pytesseract下载地址：https://pypi.org/project/pytesseract/#fi
系统 2019-09-27 17:54:22 1818
在处理数据和进行机器学习的时候，遇到了大量需要处理的时间序列。比如说：数据库读取的str和time的转化，还有time的差值计算。总结一下python的时间处理方面的内容。一、字符串和时间序列的转化time.strptime()：字符串=>时间序列time.strftime()：时间序列=>字符串importtimestart="2017-01-01"end="2017-8-12"startTime=time.strptime(start,"%Y-%m-%
系统 2019-09-27 17:54:04 1818
利用python库random，string生成大小写字母和数字的随机验证码importrandomimportstringdefgenerate_code(bit_num):''':parambit_num:生成验证码位数:return:返回生成的验证码'''all_str=string.printable.split('!')[0]code=''.join([random.choice(all_str)foriinrange(bit_num)])ret
系统 2019-09-27 17:54:02 1818
is和==先了解下官方文档中关于is和==的概念。is表示的是对象标示符（objectidentity），而==表示的是相等（equality）；is的作用是用来检查对象的标示符是否一致，也就是比较两个对象在内存中的地址是否一样（相当于检查id(a)==id(b)），而==是用来检查两个对象引用的值是否相等（相当于检查a.eq(b)）；这点和Java有点类似，只不过Java中是用==来比较两个对象在内存中的地址，用equals()来检查两者之间的值是否相等
系统 2019-09-27 17:53:56 1818
Python是个非常受欢迎的编程语言，随着近些年机器学习、云计算等技术的发展，Python的职位需求越来越高。下面我收集了10个Python面试官经常问的问题，供大家参考学习。作者：xiaochao来源：马哥Linux运维|2018-02-0116:00收藏分享概述Python是个非常受欢迎的编程语言，随着近些年机器学习、云计算等技术的发展，Python的职位需求越来越高。下面我收集了10个Python面试官经常问的问题，供大家参考学习。一、类继承问题：有
系统 2019-09-27 17:53:50 1818
python字符串替换是python操作字符串的时候经常会碰到的问题，这里简单介绍下字符串替换方法。python字符串替换可以用2种方法实现:1是用字符串本身的方法。2用正则来替换字符串下面用个例子来实验下：a='helloword'把a字符串里的word替换为python1、用字符串本身的replace方法复制代码代码如下:a.replace('word','python')输出的结果是hellopython2、用正则表达式来完成替换:复制代码代码如下:
系统 2019-09-27 17:53:34 1818
Windows•安装lxml最好的安装方式是通过wheel文件来安装，http://www.lfd.uci.edu/~gohlke/pythonlibs/，从该网站找到lxml的相关文件。假如是Python3.5版本，WIndows64位系统，那就找到lxml‑3.7.2‑cp35‑cp35m‑win_amd64.whl这个文件并下载，然后通过pip安装。下载之后，运行如下命令安装：pip3installwheelpip3installlxml‑3.7.2
系统 2019-09-27 17:53:34 1818
模块：模块就是一个python文件。模块就是一个python文件。功能：1.可以提高文件的重复利用率。提高开发效率2.用于划分程序结构。自定义模块：模块就是一个python文件而已，所有python代码都可以放入模块，实际开发中，模块放入的内容都是重复利用率高的内容主要包含：1.为当前模块专门定义的变量【其他语言一般都是常量】2.函数。3.类4.测试代码注意：模块的命名不要和内置模块重名！测试代码统一放到判断当中if__name__=='__main__'
系统 2019-09-27 17:53:19 1818
三大相关系数:pearson,spearman,kendall统计学中的三大相关性系数：pearson,spearman,kendall，他们反应的都是两个变量之间变化趋势的方向以及程度，其值范围为-1到+1。0表示两个变量不相关，正值表示正相关，负值表示负相关，值越大表示相关性越强。1.personcorrelationcoefficient（皮尔森相关性系数）皮尔逊相关系数通常用r或ρ表示，度量两变量X和Y之间相互关系（线性相关）(1)公式皮尔森相关性
系统 2019-09-27 17:53:11 1818
