Python

python selenium爬取斗鱼所有直播房间信息过程详解

还是分析一下大体的流程:首先还是Chrome浏览器抓包分析元素,这是网址:https://www.douyu.com/directory/all发现所有房间的信息都是保存在一个无序列表中的li中,所以我们可以先获取一个装有li的element对象的列表,然后在对每个element逐一操作分析斗鱼的翻页,有一个下一页按钮,是个li,class="dy-Pagination-item-custom",但是当烦到最后一页的时候,class="dy-Paginat

系统 2019-09-27 17:47:21 1901

Python

Linux下用Python脚本监控目录变化代码分享

#!/usr/bin/envpython#coding=utf-8importosfrompyinotifyimportWatchManager,Notifier,ProcessEvent,IN_DELETE,IN_CREATE,IN_MODIFYwm=WatchManager()mask=IN_DELETE|IN_CREATE|IN_MODIFY#watchedeventsclassPFilePath(ProcessEvent):defprocess_I

系统 2019-09-27 17:46:53 1901

Python

python的set处理二维数组转一维数组的方法示例

forsplitValueinset(dataset[:,featureIndex].tolist()):首先set是一个无序,无重复的数据结构,所以很多时候使用它来进行去重;但是set接收的函数是原生array,这个怎么办?我现在有的numpy里面的matrix;于是我查了一下,直接使用matrix.tolist(),但是发现返回值有问题:importosos.chdir("D:\\galaxy\\aliyunsvn\\code\\MLInAction\

系统 2019-09-27 17:46:43 1901

Python

在Python中操作文件之truncate()方法的使用教程

truncate()方法截断该文件的大小。如果可选的尺寸参数存在,该文件被截断(最多)的大小。大小默认为当前位置。当前文件位置不改变。注意,如果一个指定的大小超过了文件的当前大小,其结果是依赖于平台。注意:此方法不会在当文件工作在只读模式打开。语法以下是truncate()方法的语法:fileObject.truncate([size])参数size--如果可选参数存在,文件被截断(最多)的大小。返回值此方法不返回任何值。例子下面的例子显示truncate

系统 2019-09-27 17:46:23 1901

Python

Python使用一行代码获取上个月是几月

本文介绍的关于Python时间日期处理,日期时间处理在实际应用场景中无处不在,所以这也成了编程语言中必不可少的模块,Python也不例外。但是,你知道在Python中有多少个相关的模块吗?datetime、time、calendar、dateutil、pytz等等。你知道有多少种数据类型吗?date、time、datetime、tzinfo、timedelta等等。有天我遇到这样的需求,想获取当前月的前一个月是几月,假设本月是2018年1月,那么上个月就是

系统 2019-09-27 17:46:11 1901

Python

Python中__call__用法实例

本文实例讲述了Python中__call__的用法,分享给大家供大家参考之用。具体方法如下:先来看看如下示例代码:#call.py一个class被载入的情况下。classNext:List=[]def__init__(self,low,high):forNuminrange(low,high):self.List.append(Num**2)def__call__(self,Nu):returnself.List[Nu]如果这样使用:b=Next(1,7)

系统 2019-09-27 17:45:55 1901

Python

构建Python包的五个简单准则简介

创建一个软件包(package)似乎已经足够简单了,也就是在文件目录下搜集一些模块,再加上一个__init__.py文件,对吧?我们很容易看出来,随着时间的推移,通过对软件包的越来越多的修改,一个设计很差的软件包可能会出现循环依赖问题,或是可能变得不可移植和不可靠。1.__init__.py仅为导入服务对于一个简单的软件包,你可能会忍不住把工具方法,工厂方法和异常处理都丢进__init__.py,千万别这样!一个结构良好的__init__.py文件,仅为一

系统 2019-09-27 17:45:42 1901

Python

Python编程实现tail-n查看日志文件的方法

1、函数实现#-*-coding:utf-8-*-deftail(filename,n=10):withopen(filename,"r")asf:lines=f.readlines()[-n:]return"".join(lines)2、测试文件poetry.txt为了方便验证,每行之前加上行号数字1.虞美人・宜州见梅作2.3.宋代:黄庭坚4.5.天涯也有江南信。6.梅破知春近。7.夜阑风细得香迟。8.不道晓来开遍、向南枝。9.10.玉台弄粉花应妒。11

系统 2019-09-27 17:45:33 1901

Python

Python 实现文件的全备份和差异备份详解

Python实现文件的全备份和差异备份之前有写利用md5方式来做差异备份,但是这种md5方式来写存在以下问题:md5sum获取有些软连接的MD5值存在问题不支持对空目录进行备份,因为md5sum无法获取空目录的md5值权限的修改md5sum无法判断解决方案:利用文件的mtimectimemtime(Modifiedtime)是在写入文件时随文件内容的更改而更改的ctime(Createtime)是在写入文件、更改所有者、权限或链接设置时随Inode的内容更

系统 2019-09-27 17:45:28 1901

Python

python实现的解析crontab配置文件代码

#/usr/bin/envpython#-*-coding:utf-8-*-"""1.解析crontab配置文件中的五个数间参数(分时日月周),获取他们对应的取值范围2.将时间戳与crontab配置中一行时间参数对比,判断该时间戳是否在配置设定的时间范围内"""#$Id$importre,time,sysfromCore.FDateTime.FDateTimeimportFDateTimedefget_struct_time(time_stamp_int)

系统 2019-09-27 17:38:43 1901

Python

python目录与文件名操作例子

1、操作目录与文件名#!/usr/bin/envpython#-*-coding:utf-8-*-importos,reimportshutilimporttime用listdir搜索defsearch_OFD_old(my_pattern,diretory):try:names=os.listdir(diretory)exceptos.error:print"error"returnfornameinnames:fullname=os.path.norm

系统 2019-09-27 17:38:36 1901

Python

python如何查看系统网络流量的信息

前言流量信息可以直接在/proc/net/dev中进行查看,笔者实现的程序使用命令:pythonnet.pyinterface其中interface为网卡名称,使用什么网卡,电脑有哪些网卡,可以使用sudoifconfig进行查看。Python实现的程序如下:#coding:utf-8importsys,time,os'''Inter-|Receive|Transmitface|bytespacketserrsdropfifoframecompressed

系统 2019-09-27 17:38:09 1901

Python

python类中super()和__init__()的区别

单继承时super()和__init__()实现的功能是类似的classBase(object):def__init__(self):print'Basecreate'classchildA(Base):def__init__(self):print'creatA',Base.__init__(self)classchildB(Base):def__init__(self):print'creatB',super(childB,self).__init__

系统 2019-09-27 17:37:52 1901

Python

Python — 爬取饿了么外卖店信息

在学数据可视化,缺少点数据进行实操,就想着从饿了么上面爬点外卖店信息。主要是获取数据,所以代码比较简陋,直接上代码:importrequestsimportjsonimportcsvdefcrawler_ele(page=0):defget_page(page):url='https://h5.ele.me/restapi/shopping/v3/restaurants?latitude=xxxx&longitude=xxxx&offset={page}&

系统 2019-09-27 17:32:50 1901

Python

【python】找第n个默尼森数

P是素数且M也是素数,并且满足等式M=2^P-1,则称M为默尼森数。例如,P=5,M=2^P-1=31,5和31都是素数,因此31是默尼森数。frommathimportsqrtdefprime(num):ifnum==1:returnFalse;ifnum==2:returnTrue;k=int(sqrt(num))+1foriinrange(2,k):ifnum%i==0:returnFalse;returnTrue;defmonisen(no):k=

系统 2019-09-27 17:57:15 1900