前言在K近邻的原始算法中，没有对K近邻的方法进行优化，还是遍历训练集，找到与输入实例最近的K个训练实例，统计他们的类别，以此作为输入实例类别的判断。具体的模型理论见：统计学习方法——K近邻法（原始方法）1.K近邻算法的实现在算法实现的过程中，利用的是欧氏距离进行点与点之间的距离度量。在进行数据运算的时候，没有利用numpy，而是利用Python中自带的list来进行数据的计算。defknn(x,dataSet,labels,k):distanceMemor
系统 2019-09-27 17:56:59 1624
首先要分析一下电影天堂网站的首页结构。在这里插入图片描述从上面的菜单栏中我们可以看到整个网站资源的总体分类情况。刚刚好我们可以利用到它的这个分类，将每一个分类地址作为爬虫的起点。①解析首页地址提取分类信息#解析首页defCrawIndexPage(starturl):print"正在爬取首页"page=__getpage(starturl)ifpage=="error":returnpage=page.decode('gbk','ignore')tree=
系统 2019-09-27 17:56:58 1624
前言我在使用mac安装virtualwrapper的时候遇到了问题，搞了好长时间，才弄好，在这里总结一下分享出来，供遇到相同的问题的朋友使用，少走些弯路。问题说明：Mac默认系统的python2，而我自己用的是brew安装的python3下面是我安装过程中出现的问题1.安装virtualwrapper打开终端，输入如下的命令pip3installvirtualenvpip3installvirtualenvwrapper2.在配置文件~/.bash_pro
系统 2019-09-27 17:56:58 1624
如下所示：#返回一个列表中第二大的数defsecond(ln):max=0s={}foriinrange(len(ln)):flag=0forjinrange(len(ln)):ifln[i]>=ln[j]andi!=j:flag=flag+1s[i]=flagifflag>max:max=flagprint(s)foriins:ifs[i]==max-1:breakprint(ln[i])second([1,2,7,4,5,6,8,5,3,3,9,9,1
系统 2019-09-27 17:56:57 1624
图虫网-写在前面经历了一顿噼里啪啦的操作之后，终于我把博客写到了第10篇，后面，慢慢的会涉及到更多的爬虫模块，有人问scrapy啥时候开始用，这个我预计要在30篇以后了吧，后面的套路依旧慢节奏的，所以莫着急了，100篇呢，预计4~5个月写完，常见的反反爬后面也会写的，还有fucklogin类的内容。图虫网-爬取图虫网为什么要爬取这个网站，不知道哎~莫名奇妙的收到了，感觉图片质量不错，不是那些妖艳贱货可以比的，所以就开始爬了，搜了一下网上有人也在爬，但是基本
系统 2019-09-27 17:56:55 1624
最近有个需求就是页面上执行shell命令，第一想到的就是os.system，复制代码代码如下:os.system('cat/proc/cpuinfo')但是发现页面上打印的命令执行结果0或者1，当然不满足需求了。尝试第二种方案os.popen()复制代码代码如下:output=os.popen('cat/proc/cpuinfo')printoutput.read()通过os.popen()返回的是fileread的对象，对其进行读取read()的操作可以
系统 2019-09-27 17:56:49 1624
Python详解基本语法概要：函数的返回值是函数重要的组成部分。函数的根本在于实现程序的部分功能，所以很多时候我们需要将函数执行后的结果返回给程序再由程序作出进一步的操作。可以说是函数的返回值令函数与函数之间，函数与主程序之间更加紧密的联系起来。函数的返回值在Python的函数中都有一个返回值，默认为None。也可以使用returnvalue语句来定义一个且只能定义一个可为任意类型的返回值。但是我们能够返回一个序列类型的对象，来实现返回多个值的效果。Exa
系统 2019-09-27 17:56:49 1624
获取制定标签内容，以及HTML全部文本代码#-*-coding:utf-8-*-importrehtml="岗位职责：完成推荐算法、数据统计、接口、后台等服务器端相关工作必备要求：良好的自我驱动力和职业素养，工作积极主动、结果导向"#获得全部文本dr=re.compile(r'<[^>]+>',re.S)dd=dr.sub('',html)print(dd)print("*"*20)#取出p标签中的文本html_regex=r".*?(.*?)"resul
系统 2019-09-27 17:56:47 1624
创建爬虫目录：scrapystartprojectspiderName调试命令scrapyshell网站名调试命令可直接进行css和xpath的调试；成功执行命令之后可使用：response.xpath(xpath表达式)获取所需的内容。xpath说明：XPath是一门在XML文档中查找信息的语言表达式描述实例nodename选取nodename节点的所有子节点//div/从根节点选取/div//不考虑位置选择节点//div.选取当前节点./div…选取当
系统 2019-09-27 17:56:45 1624
本文以实例形式讲述了Python实现抓取网页并解析的功能。主要解析问答与百度的首页。分享给大家供大家参考之用。主要功能代码如下：#!/usr/bin/python#coding=utf-8importsysimportreimporturllib2fromurllibimporturlencodefromurllibimportquoteimporttimemaxline=2000wenda=re.compile("href=\"http://wenda.
系统 2019-09-27 17:56:42 1624
