声明：本文仅作为学习爱好者编写，请勿商业和恶意攻击源网站，本文所有解释权归作者本文没有使用爬虫框架，仅用了三个Python的常用库本文适合新手参考，文章里面有大量注释为理解提供便利#爬喜马拉雅importrequestsfromlxmlimportetreeimportosheaders={"User-Agent":"Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chro
系统 2019-09-27 17:45:35 2407
python提供了一个跨平台的多进程支持——multiprocessing模块，其包含Process类来代表一个进程对象1、Process语法结构：（注：传参的时候一定使用关键字传参）2、自定义进程类：需要继承Process类自定义类的时候必须注意的事项：第一，必须继承Process类的构造方法第二，必须重写Process类的run（）方法第三，不能用实例化对象直接调用run（）方法，而是调用start（）方法第四，在进程改变实例化对象的数据时，这个数据是
系统 2019-09-27 17:57:00 2406
前言在测试用例中，执行完测试用例后，最后一步是判断测试结果是pass还是fail，自动化测试脚本里面一般把这种生成测试结果的方法称为断言（assert）。用unittest组件测试用例的时候，断言的方法还是很多的，下面介绍几种常用的断言方法：assertEqual、assertIn、assertTrue---------------------基本断言方法基本的断言方法提供了测试结果是True还是False。所有的断言方法都有一个msg参数，如果指定msg
系统 2019-09-27 17:56:44 2406
python学习记录1——常用命令总结with关键字Python中的关键字with详解浅谈Python的with语句structPython使用struct处理二进制(pack和unpack用法)lambda表达式python–lambda表达式@装饰器特点：1参数是一个函数；2返回值是一个函数python装饰器Python函数装饰器装饰器-廖雪峰的官方网站defaultdict方法python中defaultdict方法的使用对dict进行排序pytho
系统 2019-09-27 17:56:11 2406
原文链接：https://mp.weixin.qq.com/s/7Ktv-cYNNT82ECVGevUyzg#rd作者|大咪来源|咪哥杂谈（ID:migezatan）1前言接下来的两篇文章介绍下，如何使用requests库玩转高德地图！说是玩转，不如通俗的说是用requests库来请求高德地图为我们提供的官方API。本篇是介绍地图业务相关性的知识点（无编码），下一篇才涉及编码。API：有人不了解的话，我给你们解释下。你可以想象成一个网页，你只要访问它，它就
系统 2019-09-27 17:55:16 2406
urllib.request.Request('URL',headers=headers)User-Agent是爬虫和反爬虫斗争的第一步，发送请求必须带User—Agent使用流程：1、创建请求对象request=urlllib.request.Request('url'......)2、发送请求获取响应对象response=urllib.request.urlopen(request)3、获取响应内容html=response.read().decond
系统 2019-09-27 17:49:37 2406
个人理解这里的规范化处理指对提取后的特征集进行处理，不是对原始的数据信号进行处理，包括归一化和标准化。规范化的原因：不同特征具有不同量级时会导致：a.数量级的差异将导致量级较大的特征占据主导地位；b.数量级的差异将导致迭代收敛速度减慢；c.依赖于样本距离的算法对于数据的数量级非常敏感。归一化：，也就是原数据减去该特征列最小值，再除以该特征列的极差，将属性缩放到[0,1]之间。标准化：,也就是原数据减去该特征列的均值，再除以该特征列的标准差。注意：1.所谓规
系统 2019-09-27 17:48:10 2406
简介提到爬虫，大部分人都会想到使用Scrapy工具，但是仅仅停留在会使用的阶段。为了增加对爬虫机制的理解，我们可以手动实现多线程的爬虫过程，同时，引入IP代理池进行基本的反爬操作。本次使用天天基金网进行爬虫，该网站具有反爬机制，同时数量足够大，多线程效果较为明显。技术路线IP代理池多线程爬虫与反爬编写思路首先，开始分析天天基金网的一些数据。经过抓包分析，可知：./fundcode_search.js包含所有基金的数据，同时，该地址具有反爬机制，多次访问将会
系统 2019-09-27 17:57:51 2405
一、Python中的编码规则#_*_coding:utf-8_*_在python2中添加此行，可识别UTF-8编码，是16位二进制编码，可识别汉字python2.x:默认使用ASCII编码python3.x:默认使用UTF-8编码1.没有分号(编码规范PEP8)2.严格按照缩进的语言系统中默认的python为2.7.5版本：我们下载的版本为python3.6.4：测试：【1】在python2中添加此行，可识别UTF-8编码，是16位二进制编码，可识别汉字1
系统 2019-09-27 17:55:33 2405
转载请注明作者（独孤尚良dugushangliang）出处：https://blog.csdn.net/dugushangliang/article/details/83055390提前声明：安装有两种方式，一种是独立于python环境的安装，一种是依附于python环境的安装。请各位需要参考的，先浏览下再决定使用哪种安装。ogr附带在gdal，所以我们只要安装了gdal就可以用ogr了。资料找了好久。https://blog.csdn.net/u0141
系统 2019-09-27 17:52:59 2405
前言本人前端不太懂Centos上面的东西，这两天在搞阿里云的Ecs在上面安装Python环境，刚开始直接在官网下载了源码包编译安装了Python3.7.4。但其实部署项目的时候大多会涉及到多项目以及Python的版本、环境不同，所以可以多版本Python+虚拟环境。0.Pyenv安装篇需要先安装依赖：yum-yinstallgitgccmakepatchzlib-develgdbm-developenssl-develsqlite-develbzip2-d
系统 2019-09-27 17:49:38 2405
CSV是一种简单的数据格式，通常为电子表格软件所使用。它主要是由一系列的表格行组成，每行中单元格之间使用逗号(CSV是逗号分隔数值(comma-separatedvalues)的缩写)隔开。例如，下面是CSV格式的“不守规矩”的飞机乘客表。Year,UnrulyAirlinePassengers1995,1461996,1841997,2351998,2001999,2262000,2512001,2992002,2732003,2812004,30420
系统 2019-09-27 17:37:35 2405
本文实例讲述了Python基本数据结构之字典类型dict用法。分享给大家供大家参考，具体如下：词典类型dict字典由键(key)和对应值(value)成对组成。字典也被称作关联数组或哈希表。dict赋值dict整体放在花括号{}中，每个键与值用冒号隔开（:），每对用逗号分割；d={'one':1,'two':2,'three':3}键必须独一无二，但值则不必；值可取任何数据类型，如字符串，数或元组；若创建时同一个键被赋值两次，后一个值会被记住；键必须不可变
系统 2019-09-27 17:55:22 2404
案例描述设计一个输入以美元或人民币为单位的功能将其转换为另一种货币的金额案例分析·分析问题：该案例的转换功能·确定问题：将问题划分为三部，即输入、处理及输出三部分·设计算法：设计函数调用上机实验defmain(hl):money=input("请输入带单位的转换金额(输入Q退出程序)：")ifmoney!='Q':unit=money[-3:]money_val=eval(money[:-3])ifunit=='USD':print('对应的人民币金额为：
系统 2019-09-27 17:55:11 2404
摘要：有时候我们只需要数据集中的一部分，并不需要全部的数据。这个时候我们就要对数据集进行随机的抽样。pandas中自带有抽样的方法。应用场景：我有10W行数据，每一行都11列的属性。现在，我们只需要随机抽取其中的2W行。实现方法很简单：利用Pandas库中的sample。DataFrame.sample(n=None,frac=None,replace=False,weights=None,random_state=None,axis=None)n是要抽取
系统 2019-09-27 17:54:34 2404
