前言网络爬虫也称为网络蜘蛛、网络机器人,抓取网络的数据。其实就是用Python程序模仿人点击浏览器并访问网站,而且模仿的越逼真越好。一般爬取数据的目的主要是用来做数据分析,或者公司项目做数据测试,公司业务所需数据。而数据来源可以来自于公司内部数据,第三方平台购买的数据,还可以通过网络爬虫爬取数据。python在网络爬虫方向上有着成熟的请求、解析模块,以及强大的Scrapy网络爬虫框架。爬虫分类1、通用网络爬虫:搜索引擎使用,遵守robots协议(君子协议)
系统 2019-09-27 17:51:27 2087
import1、执行对应文件2、引入变量import寻找模块从PATH路径寻找,查看PATH可以先导入sys模块然后打印sys.pathimport执行导入模块,是以当前py文件的PATH路径去找模块。假如当前文件导入了A模块,而这个模块又导入了B模块,如果当前文件恰好想用B模块里面的某个函数,这可能会出问题,因为当前文件调用B模块函数时候,是以当前文件PATH去找,当前文件PATH没有B模块。调用其他包里的模块,如图:ss.py调用add.py,语法:f
系统 2019-09-27 17:49:50 2087
Turtle图形库Turtle库是Python内置的图形化模块,属于标准库之一,位于Python安装目录的lib文件夹下,常用函数有以下几种:画笔控制函数penup():抬起画笔;pendown():落下画笔;pensize(width):画笔宽度;pencolor(color):画笔颜色;运动控制函数forward(d)/fd(d):直行d个像素;circle(r,extent=None):绘制半径为r,角度为extent的弧形,圆心默认在海龟左侧距离r
系统 2019-09-27 17:48:49 2087
在Python中也可以像gcc/gdb那样调试程序,只要在运行Python程序时引入pdb模块(假设要调试的程序名为d.py):复制代码代码如下:$vid.py#!/usr/bin/pythondefmain():i,sum=1,0foriinxrange(100):sum=sum+iprintsumif__name__=='__main__':main()$python-mpdbd.py运行上面的命令后进入以下界面,可以输入类似gdb的命令来改变程序的执
系统 2019-09-27 17:48:42 2087
写在最前面:带你从最简单的二叉树构造开始,深入理解二叉树的数据结构,ps:不会数据结构的程序猿只能是三流的首先,我们构造一个二叉树这是最标准,也是最简单的二叉树构造方法'''树的构建:3920157'''classTree():'树的实现'def__init__(self,data,left=0,right=0):self.left=leftself.right=rightself.data=datadef__str__(self):returnstr(s
系统 2019-09-27 17:47:24 2087
我们已知python是具有非常多的包一种开源语言,封装了各种算法。python典型的数据结构为列表/元组/字符串/字典,与C/C++中的数组(array)/栈(stack)/(优先)队列”(queue)/二叉树(binarytree)有明显区别。在python官网中指出,列表可以作为栈和队列使用,但是并未给出特别详细具体的教程。在python官网上有关于list和dict数据结构的描述参考,如链接所示,但是没有关于时间复杂度和空间复杂度的分析。本文是对官网
系统 2019-09-27 17:47:00 2087
pythonselenium采坑系统环境:python2macos10.14.5正文:之前装了一个firefox就可以完美使用selenium了,但是在firefox上进行网页检查时不是很习惯。所以还是想使用chrome,但是由于selenium原生不支chrome,所以需要下载chromedriver并在生成selenium对象前把chromedriver和chrome放到应用程序路径下,或者再初始化webdriver.Chrome对象时设置chrome
系统 2019-09-27 17:46:26 2087
Python使用type关键字创建类打开命令行窗口,输入python,进入python交互环境python一般创建类使用class关键字即可,测试命令如下:classCoo:passobj1=Coo()print(obj1)c=Cooobj2=c()print(obj2)type关键字可以动态的创建类,接收参数(类名,父类元组,属性的字典),如创建一个类,没有父类,没有属性,命令如下:Test=type('Test',(),{})print(Test)t=
系统 2019-09-27 17:46:03 2087
一、新建项目$django-admin.pystartprojectproject_name#特别是在windows上,如果报错,尝试用django-admin代替django-admin.py试试注意project_name是自己的项目名称,需要为合法的Python包名,如不能为1a或a-b。二、新建APP要先进入项目目录下,cdproject_name然后执行下面的命令;$pythonmanage.pystartappapp_name或django-a
系统 2019-09-27 17:37:37 2087
1、Oracle8/8i/9i数据库(thin模式)Class.forName("oracle.jdbc.driver.OracleDriver").newInstance();Stringurl="jdbc:oracle:thin:@localhost:1521:orcl";//orcl为数据库的SIDStringuser="test";Stringpassword="test";Connectionconn=DriverManager.getConne
系统 2019-08-29 23:47:19 2087