Python爬虫包BeautifulSoup递归抓取实例详解概要：爬虫的主要目的就是为了沿着网络抓取需要的内容。它们的本质是一种递归的过程。它们首先需要获得网页的内容，然后分析页面内容并找到另一个URL，然后获得这个URL的页面内容，不断重复这一个过程。让我们以维基百科为一个例子。我们想要将维基百科中凯文・贝肯词条里所有指向别的词条的链接提取出来。#-*-coding:utf-8-*-#@Author:HaonanWu#@Date:2016-12-2510
系统 2019-09-27 17:56:47 1778
最近在用python写接口的测试程序，期间用到解析字典获取某个key的value，由于多个接口返回的字典格式不是固定的并存在多层嵌套的情况。在字典的方法中也没有找到可直接达到目的的方法(也可能是我对字典的方法了解的不深的缘故)，于是自己写了个程序。下面是代码#coding:utf-8importtypes#获取字典中的objkey对应的值，适用于字典嵌套#dict:字典#objkey:目标key#default:找不到时返回的默认值defdict_get(
系统 2019-09-27 17:55:32 1778
Numpy模块被广泛用于科学和数值计算，自然有它的强大之处，之前对于特征处理中需要进行数据列表或者矩阵拼接的时候都是自己写的函数来完成的，今天发现一个好玩的函数，不仅好玩，关键性能强大，那就是Numpy模块自带的矩阵、列表连接函数，实践一下。#!usr/bin/envpython#encoding:utf-8from__future__importdivision'''__Author__:沂水寒城使用numpy模块实现矩阵的连接操作'''importnu
系统 2019-09-27 17:55:12 1778
邻近算法（k-NearestNeighbor)是机器学习中的一种分类（classification）算法，也是机器学习中最简单的算法之一了。虽然很简单，但在解决特定问题时却能发挥很好的效果。因此，学习kNN算法是机器学习入门的一个很好的途径。kNN算法的思想非常的朴素，它选取k个离测试点最近的样本点，输出在这k个样本点中数量最多的标签（label）。我们假设每一个样本有m个特征值（property），则一个样本的可以用一个m维向量表示:X=（x1，x2，.
系统 2019-09-27 17:54:43 1778
Python标准库包含两个测试工具。doctest：一个简单的模块，为检查文档而设计，但也适合用来编写单元测试。unittest：一个通用的测试框架。一、使用doctest进行单元测试创建文件mymath.py，内容defsquare(x):'''计算平方并返回结果（下面是单元测试的格式）>>>square(2)>>>square(3)'''returnx*xif__name__=='__main__':importdoctest,mymathdoctes
系统 2019-09-27 17:54:39 1778
开篇：测试过程中，对于多参数参数多值的情况进行测试用例组织，之前一直使用【正交分析法】进行用例组织，说白了就是把每个参数的所有值分别和其他参数的值做一个全量组合，用Python脚本实现，就是itertools模块中product方法（又称笛卡尔积法）。正交分析法的优点是测试用例覆盖率100%，缺点测试用例数量庞大，执行用例消耗的人工巨大。Pairwise（结对）算法源于对传统的正交分析方法优化后得到的产物，它的理论来自于数学统计。毫不避讳的说，本人看不懂数
系统 2019-09-27 17:54:21 1778
在学习python的时候，三大“名器”对没有其他语言编程经验的人来说，应该算是一个小难点，本次博客就博主自己对装饰器、迭代器和生成器理解进行解释。为什么要使用装饰器什么是装饰器？“装饰”从字面意思来谁就是对特定的建筑物内按照一定的思路和风格进行美化的一种行为，所谓“器”就是工具，对于python来说装饰器就是能够在不修改原始的代码情况下给其添加新的功能，比如一款软件上线之后，我们需要在不修改源代码和不修改被调用的方式的情况下还能为期添加新的功能，在pyth
系统 2019-09-27 17:54:20 1778
废话不多说，直接上代码#Author:LancyWuproduct_list=[('Iphone',5800),('MacPro',9800),('Bike',800),('Watch',10600),('Coffee',31),('LancyPython',120)]#商品列表shopping_list=[]#定义一个列表来存储已购商品salary=input("请输入工资：")ifsalary.isdigit():#当输入的内容为数字salary=in
系统 2019-09-27 17:54:07 1778
作者：HelloGitHub-ProdesireHelloGitHub的《讲解开源项目》系列，项目地址：https://github.com/HelloGitHu...前言在第一篇“初探argparse”的文章中，我们初步掌握了使用argparse的四部曲，对它有了一个基本的体感。但是它具体支持哪些类型的参数？这些参数该如何配置？本文将带你深入了解argparse的参数们。本系列文章默认使用Python3作为解释器进行讲解。若你仍在使用Python2，请注
系统 2019-09-27 17:53:22 1778
简单使用最开始，我们用最短的代码体验一下logging的基本功能。importlogginglogger=logging.getLogger()logging.basicConfig()logger.setLevel('DEBUG')logger.debug('logsomething')#输出out>>DEBG:root:logsomething第一步，通过logging.getLogger函数，获取一个loger对象，但这个对象暂时是无法使用的。第二步
系统 2019-09-27 17:52:26 1778
