我们开始来谈谈python的爬虫。1,什么是爬虫:网络爬虫是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。互联网犹如一个大蜘蛛网,我们的爬虫就犹如一个蜘蛛,当在互联网遇到所需要的资源,我们就会爬取下来,即为爬虫是一个请求网站并且提取数据的自动化程序。2,下面我们来提到两个名词:1)请求,request即为我们的请求,当我们在浏览器内输入网址,敲击回车时,这时浏览器就会发送消息给该网址所在
系统 2019-09-27 17:50:56 2299
函数:split()Python中有split()和os.path.split()两个函数,具体作用如下:split():拆分字符串。通过指定分隔符对字符串进行切片,并返回分割后的字符串列表(list)os.path.split():按照路径将文件名和路径分割开一、函数说明1、split()函数语法:str.split(str="",num=string.count(str))[n]参数说明:str:表示为分隔符,默认为空格,但是不能为空('')。若字符串
系统 2019-09-27 17:50:50 2299
一.概述首先需要先介绍一下无监督学习,所谓无监督学习,就是训练样本中的标记信息是位置的,目标是通过对无标记训练样本的学习来揭示数据的内在性质以及规律。通俗得说,就是根据数据的一些内在性质,找出其内在的规律。而这一类算法,应用最为广泛的就是“聚类”。聚类算法可以对数据进行数据归约,即在尽可能保证数据完整的前提下,减少数据的量级,以便后续处理。也可以对聚类数据结果直接应用或分析。而Kmeans算法可以说是聚类算法里面较为基础的一种算法。二.从样例开始我们现在在
系统 2019-09-27 17:50:00 2299
文件操作是开发中经常遇到的场景,那么如何判断一个对象是文件对象呢?下面我们总结了3种常见的方法。方法1:比较类型第一种方法,就是判断对象的type是否为file>>>fp=open(r"/tmp/pythontab.com")>>>type(fp)>>>type(fp)==fileTrue注意:该方法对于从file继承而来的子类不适用,看下面的实例classfileDetect(file):pass#中间代码无所谓,直接跳过不处理fp2=fileDetec
系统 2019-09-27 17:49:34 2299
前言利用Python调用外部系统命令的方法可以提高编码效率。调用外部系统命令完成后可以通过获取命令执行返回结果码、执行的输出结果进行进一步的处理。本文主要描述Python常见的调用外部系统命令的方法,包括os.system()、os.popen()、subprocess.Popen()等。本文分析python调用外部系统命令主要从两个方面考虑:1、是不是可以返回命令执行结果码,因为大部分场景都需要通过判断调用命令是执行成功还是失败。2、是不是可以获取命令执
系统 2019-09-27 17:49:30 2299
目录一、Python基础1.数据类型和变量2.字符串和编码3.list和tuplelisttuple4.条件判断5.循环6.dict和setdictset二、函数1.调用函数2.定义函数3.函数的参数位置参数默认参数可变参数关键字参数命名关键字参数参数组合4.递归函数三、高级特性1.切片2.迭代3.列表生成式4.生成器5.迭代器四、函数式编程1.高阶函数map/reducefiltersorted2.返回函数3.匿名函数4.装饰器5.偏函数五、模块六、面向
系统 2019-09-27 17:49:09 2299
python中,类内方法外的变量叫属性,类内方法内的变量叫字段。他们的私有公有访问方法类似。classC:__name="私有属性"deffunc(self):print(C.__name)classsub_C(C):definfo(self):print(C.__name)#派生类中不可以访问父类的私有字段obj=C()obj.func()obj=sub_C()obj.info()方法、属性的访问于上述方式相似,即:私有成员只能在类内部使用以上这篇老生常
系统 2019-09-27 17:48:28 2299
什么是异常?异常是Python对象,表示一个错误。当Python脚本发生异常时我们需要捕获处理它,否则程序会终止执行。在程序运行过程中,总会遇到各种各样的错误,有的错误是程序编写有问题造成的还有一类错误是完全无法在程序运行过程中预测的:一切异常皆是对象系统定义的异常:BaseException所有异常的基类,父类Exception常规错误的基类StandardError所有的内建标准异常的基类,标准化错误ImportError导入模块错误Arithmeti
系统 2019-09-27 17:46:28 2299
分类题目解题思路Python实现题目给定一个数组,它的第i个元素是一支给定的股票在第i天的价格。设计一个算法来计算你所能获取的最大利润。你最多可以完成两笔交易。注意:你不能同时参与多笔交易(你必须在再次购买前出售掉之前的股票),地址。示例:输入:[3,3,5,0,0,3,1,4]输出:6解释:在第4天(股票价格=0)的时候买入,在第6天(股票价格=3)的时候卖出,这笔交易所能获得利润=3-0=3。随后,在第7天(股票价格=1)的时候买入,在第8天(股票价格
系统 2019-09-27 17:45:38 2299
1、Requests模块说明Requests是使用Apache2Licensed许可证的HTTP库。用Python编写,真正的为人类着想。Python标准库中的urllib2模块提供了你所需要的大多数HTTP功能,但是它的API太渣了。它是为另一个时代、另一个互联网所创建的。它需要巨量的工作,甚至包括各种方法覆盖,来完成最简单的任务。在Python的世界里,事情不应该这么麻烦。Requests使用的是urllib3,因此继承了它的所有特性。Requests
系统 2019-09-27 17:38:31 2299