案例:爬取使用搜狗根据指定词条搜索到的页面数据(例如爬取词条为‘周杰伦'的页面数据)importurllib.request#1.指定urlurl='https://www.sogou.com/web?query=周杰伦''''2.发起请求:使用urlopen函数对指定的url发起请求,该函数返回一个响应对象,urlopen代表打开url'''response=urllib.request.urlopen(url=url)#3.获取响应对象中的页面数据:r
系统 2019-09-27 17:53:11 1858
阅读更多1,下载pip安装包pip-19.1.1.tar.gz;2,解压缩后出现setup.py文件,然后在目录中通过Shift+右击,点击在此处打开命令窗口,通过pythonsetup.pyinstall,进行安装;3,安装后,通过cmd窗口中,输入piplist,查看命令是否起作用;4,使用pipinstall-Upip,对pip进行升级;5,使用pipinstallpsycopg2,安装postgresql数据驱动;注意:1,python不要装在c盘
系统 2019-09-27 17:53:05 1858
函数的嵌套在Python编程语言中,在函数体内创建另外一个函数(对象,因为Python一切皆对象,函数其实也是对象)是完全合法的,这种函数叫做内部/嵌套函数。例子:#coding:utf-8defouter():definner():print("isInnerMethod")print("IsouterMethod")inner()#调用outer函数outer()#调用outer()的内部函数,报错#inner()运行结果:IsouterMethodi
系统 2019-09-27 17:52:56 1858
实现一个支持动态扩容的数组并完成其增删改查#通过python实现动态数组"""数组特点:占用一段连续的内存空间,支持随机(索引)访问,且时间复杂度为O(1)添加元素时间复杂度:O(n)删除元素时间复杂度:O(n)"""classArr:def__init__(self,capacity=10):"""构造函数:paramcapacity:数组最大容量,不指定的话默认为10"""self._capacity=capacityself._size=0#数组有效
系统 2019-09-27 17:52:16 1858
原型模式,也是用于创建对象时的一种设计方法。主要应用场景是:每次初始化某个对象时,需要传递大量的参数,很不方便,此时,可以使用原型模式,在已经创建并初始化的对象基础上,可以快速而又方便创建新的不同对象。主要原理:使用深拷贝,复制一个已创建的对象,然后使用__dict__.update()方法更新已创建对象中的参数值方式创建新对象。背景知识:在python中的类中,__dict__是一个字典,保存了所有该类中的变量,函数等参数。#coding=utf-8im
系统 2019-09-27 17:52:15 1858
本文实例讲述了Python基于BeautifulSoup和requests实现的爬虫功能。分享给大家供大家参考,具体如下:爬取的目标网页:http://www.qianlima.com/zb/area_305/这是一个招投标网站,我们使用python脚本爬取红框中的信息,包括链接网址、链接名称、时间等三项内容。使用到的Python库:BeautifulSoup、requests代码如下:#-*-coding:utf-8-*-importrequestsfr
系统 2019-09-27 17:52:10 1858
最近在工作中遇到一个问题,就是有一个功能希望在各种服务器上实现,而服务器上的系统版本可能都不一样,有的是CentOS6.x,有的是CentOS7.x。需要说明的一点是,CentOS6.x上的Python版本是2.6.x的,而CentOS7.x上的Python版本是2.7.x的,这意味着我要实现的功能要适配这两种版本的系统。你可能会说,这有什么的,自己写的时候,注意一下就好了。事情其实没有那么容易,我要实现的功能是基于一个框架进行定制,需要修改不少的框架代码
系统 2019-09-27 17:51:50 1858
前言今天就简单的对日志做个封装,实际工作中直接拿去用吧方法1"""------------------------------------@Time:2019/5/228:12@Auth:linux超@File:logfile.py@IDE:PyCharm@Motto:Realwarriors,daretofacethebleakwarning,daretofacetheincisiveerror!-----------------------------
系统 2019-09-27 17:51:39 1858
步骤:1.掌握几种对象及其关系2.了解每类对象的基本操作方法3.通过转化关系转化涉及对象1.datetime>>>importdatetime>>>now=datetime.datetime.now()>>>nowdatetime.datetime(2018,1,12,23,9,12,946118)>>>type(now)2.timestamp>>>importtime>>>time.time()1421075455.5682433.timetuple>>
系统 2019-09-27 17:51:17 1858
代理ProxyHandler处理器(代理)1、代理的原理:在请求目的网站之前,先请求代理服务器,然后让代理服务器去请求目的网站,代理服务器拿到目的服务器的网站数据后,再转发给我们的代码。2、http://httpbin.org/ip这个网站可以方便我们查看一些http请求参数3、使用代理的方法:ProxyHandle这个方法需要传入一个字典,key:请求schema,value:代理服务器ip+端口fromurllibimportrequest##url=
系统 2019-09-27 17:50:55 1858