搜索到与相关的文章
Python

Python爬虫抓取技术的一些经验

前言web是一个开放的平台,这也奠定了web从90年代初诞生直至今日将近30年来蓬勃的发展。然而,正所谓成也萧何败也萧何,开放的特性、搜索引擎以及简单易学的html、css技术使得web成为了互联网领域里最为流行和成熟的信息传播媒介;但如今作为商业化软件,web这个平台上的内容信息的版权却毫无保证,因为相比软件客户端而言,你的网页中的内容可以被很低成本、很低的技术门槛实现出的一些抓取程序获取到,这也就是这一系列文章将要探讨的话题――网络爬虫。有很多人认为w

系统 2019-09-27 17:54:02 1927

Python

python的debug实用工具 pdb详解

叨逼叨首先,介绍一下pdb调试,pdb是python的一个内置模块,用于命令行来调试Python代码。或许你会说,现在用Pycharm等编辑器来调试代码很方便,为啥要用命令行呢?这个问题,我曾经也这么想,直到有一次,代码必须要在Linux系统上跑(现在Pycharm也可以远程调试代码了,今天先不说这个)使用介绍如何添加断点?说到debug,肯定是要添加断点的,这里有两种方式添加断点:在想要断点代码后添加一行pdb.set_trace()若是使用这种方式,直

系统 2019-09-27 17:53:53 1927

Python

关于Python的修饰器(一)

Python对于将函数作为参数传递给另一个函数调用是非常方便的,只要你在函数中将调用的参数按照函数处理进行调用,这种操作就能顺利完成。如:defS(n):sum=0foriinrange(n):sum+=ireturnsumdefP(f):a=eval(input('输入一个数'))print('数的累加为:'f(a))运行P(S),即能够从键盘获得输入并打印出结果。这里将函数S作为参数传递给P是非常方便的。而在P中,之所以将参数f认为是函数,则是因为对它

系统 2019-09-27 17:53:34 1927

Python

python检测RabbitMQ的状态是否正常的代码

将做工程过程中重要的一些代码段收藏起来,下面代码段是关于python检测RabbitMQ的状态是否正常的代码。importsocketdefcheck_aliveness(ip,port):sk=socket.socket(socket.AF_INET,socket.SOCK_STREAM)sk.settimeout(1)try:sk.connect((ip,port))print'serviceisOK!'returnTrueexceptExceptio

系统 2019-09-27 17:52:41 1927

Python

教你如何用python操作Excel

python操作Excel首先我们先分析一下怎么去操作和流程使用哪些库及方式本文免费直播课程分享链接:https://ke.qq.com/course/397896?flowToken=1009460有需要学习提升的宝宝可以进去免费报名一下1、使用的库xlrd2、打开文件3、定位到具体的一个sheet表4、以什么方式打开分析完之后下面就是操作编写代码,注意看和分析#--coding:utf-8--importxlrd#打开一个文件data=xlrd.ope

系统 2019-09-27 17:52:40 1927

Python

Python常用的日期时间处理方法示例

#-*-coding:utf-8-*-importdatetime#给定日期向后N天的日期defdateadd_day(days):d1=datetime.datetime.now()d3=d1+datetime.timedelta(days)returnd3#昨天defgetYesterday():today=datetime.date.today()oneday=datetime.timedelta(days=1)yesterday=today-one

系统 2019-09-27 17:52:22 1927

Python

python装饰器

原文链接:https://www.runoob.com/w3cnote/python-func-decorators.html学习菜鸟教程上一个同学的笔记,写的很好理解。转来学习。原文链接:https://www.runoob.com/w3cnote/python-func-decorators.html开始之前先提醒一下:多个装饰器的调用顺序为:从下往上每个人都有的内裤主要功能是用来遮羞,但是到了冬天它没法为我们防风御寒,咋办?我们想到的一个办法就是把内

系统 2019-09-27 17:52:15 1927

Python

Python基于BeautifulSoup和requests实现的爬虫功能示例

本文实例讲述了Python基于BeautifulSoup和requests实现的爬虫功能。分享给大家供大家参考,具体如下:爬取的目标网页:http://www.qianlima.com/zb/area_305/这是一个招投标网站,我们使用python脚本爬取红框中的信息,包括链接网址、链接名称、时间等三项内容。使用到的Python库:BeautifulSoup、requests代码如下:#-*-coding:utf-8-*-importrequestsfr

系统 2019-09-27 17:52:10 1927

Python

python学习笔记 第五章2

经典的汉诺塔问题:这里我们可以利用递归的思想去做,递归中重要的三步,我们逐条来实现:1、函数+分支结构2、递归链条3、递归基例函数+分支结构:defhanoi(n,start,end,mid):globalcountif:else:这里我们可以定义一个函数,里面的参数有:一共有n个圆盘,从start柱子移到end柱子,中间柱子为mid。这里定义一个全局变量来计算移动的步骤数,若为局部变量,会在函数内部不断初始化,所以需要定义全局变量。递归基例:ifn==1

系统 2019-09-27 17:52:07 1927

Python

Python爬虫:url中带字典列表参数的编码转换方法

平时见到的url参数都是key-value,一般vlaue都是字符串类型的如果有幸和我一样遇到字典,列表等参数,那么就幸运了python2代码importjsonfromurllibimporturlencode#1.直接将url编码params={"name":"Tom","hobby":["ball","swimming"],"books":[{"name":"语文","pages":20}]}print(urlencode(params))"""ho

系统 2019-09-27 17:51:13 1927