Python

python爬虫获取网站数据

要爬取的网站不需要登陆,没有反爬机制,操作很简单首先安装需要的程序包pipinstallrequestspipinstallbeautifulsoup4pipinstallxlwt具体的实现类GetInfo.py#信息实体类classproduct_info(object):serios=''#存放商品系列productActualPrice=''#存放商品成交价productOldPrice=''#存放商品面价detailString=''#存放商品详情

系统 2019-09-27 17:47:27 2110

Python

Python --我的常用函数

昆明地图defkmdt(x):importmatplotlib.pyplotaspltimportjsonwithopen('km.json','rb')asf:data=json.load(f)forfeainrange(len(data['features'])):df=data['features'][fea]['geometry']['coordinates']forf1inrange(len(df)):df1=df[f1]forf2inrange

系统 2019-09-27 17:46:53 2110

Python

Python常用正则表达式符号浅析

对Python中正则表达式的理解,主要就是对符号的理解,本文即对Python中常用的正则表达式符号进行简析。其主要的符号有:.默认匹配一个字符,不包含换行符,如果设置DOTALL则匹配换行符^匹配行首$匹配行尾*匹配0个或者多个重复+匹配一个或者多个重复?匹配一个或者零个重复*?,+?,??按照非贪婪模式匹配{m},{m,n},{m,n}?分别匹配m个重复,m至n个重复,m至n个重复按照非贪婪模式\转义[][abc],[a-z][^a-z]|或者匹配'a|

系统 2019-09-27 17:46:52 2110

Python

python的set处理二维数组转一维数组的方法示例

forsplitValueinset(dataset[:,featureIndex].tolist()):首先set是一个无序,无重复的数据结构,所以很多时候使用它来进行去重;但是set接收的函数是原生array,这个怎么办?我现在有的numpy里面的matrix;于是我查了一下,直接使用matrix.tolist(),但是发现返回值有问题:importosos.chdir("D:\\galaxy\\aliyunsvn\\code\\MLInAction\

系统 2019-09-27 17:46:43 2110

Python

python保存字典和读取字典的实例代码

读取一个已经保存了的字典f=open('dict_th','r')a=f.read()dict_hi=eval(a)f.close()保存一个字典dict={}list1=[]list2=[]forlineinlines:line=line.strip()if">"inline:list1.append(line)else:list2.append(line)foriinrange():dict[list1[i]]=list2[i]f6=open("dic

系统 2019-09-27 17:46:38 2110

Python

python视频按帧截取图片工具

本文实例为大家分享了python视频按帧截取图片工具的具体代码,供大家参考,具体内容如下描述:将一个视频流按帧数截取大量的图片用途:AI的数据集制作,得到大量的图片,之后将其打标签更改的地方1.default--间隔的帧数2.input/output--输入视频的路径、存放截取图片的路径(将路径放入后面的‘'中即可)前面加r可表示绝对路径eg:args=parser.parse_args(['--input',r'F:\data_video\IMG_439

系统 2019-09-27 17:46:11 2110

Python

深入理解python try异常处理机制

深入理解pythontry异常处理机制#python的try语句有两种风格#一:种是处理异常(try/except/else)#二:种是无论是否发生异常都将执行最后的代码(try/finally)try/except/else风格try:<语句>#运行别的代码except<名字>:<语句>#如果在try部份引发了'name'异常except<名字>,<数据>:<语句>#如果引发了'name'异常,获得附加的数据else:<语句>#如果没有异常发生#try的

系统 2019-09-27 17:38:34 2110

Python

Python中__name__的使用实例

1.如果模块是被导入,__name__的值为模块名字2.如果模块是被直接执行,__name__的值为'__main__'Py1.py复制代码代码如下:#!/usr/bin/envpythondeftest():print'__name__=',__name__if__name__=='__main__':test()Py2.py复制代码代码如下:#!/usr/bin/envpythonimportPy1.pydeftest():print'__name__

系统 2019-09-27 17:38:30 2110

Python

python3 shelve模块的详解

python3shelve模块的详解一、简介在python3中我们使用json或者pickle持久化数据,能dump多次,但只能load一次,因为先前的数据已经被后面dump的数据覆盖掉了。如果我们想要实现dump和load多次,可以使用shelve模块。shelve模块可以持久化所有pickle所支持的数据类型。二、持久化数据1、数据持久化importshelveimportdatetimeinfo={'name':'bigberg','age':22}

系统 2019-09-27 17:38:13 2110

Python

python如何查看系统网络流量的信息

前言流量信息可以直接在/proc/net/dev中进行查看,笔者实现的程序使用命令:pythonnet.pyinterface其中interface为网卡名称,使用什么网卡,电脑有哪些网卡,可以使用sudoifconfig进行查看。Python实现的程序如下:#coding:utf-8importsys,time,os'''Inter-|Receive|Transmitface|bytespacketserrsdropfifoframecompressed

系统 2019-09-27 17:38:09 2110

Python

Python入门_条件控制(详解)

条件控制其实就是if...else...(如果...条件是成立的,就做...;反之,就做...)的使用,其基本结构是:具体看下面这个例子:defaccount_login():#定义函数password=input('请输入密码:')#输入密码ifpassword=='12345':#如果输入密码是12345,则登录成功print('登录成功')else:print('密码有误,请重新输入')#否则提示密码有误,请重新输入account_login()#输

系统 2019-09-27 17:55:06 2109

Python

零基础写python爬虫之HTTP异常处理

先来说一说HTTP的异常处理问题。当urlopen不能够处理一个response时,产生urlError。不过通常的PythonAPIs异常如ValueError,TypeError等也会同时产生。HTTPError是urlError的子类,通常在特定HTTPURLs中产生。1.URLError通常,URLError在没有网络连接(没有路由到特定服务器),或者服务器不存在的情况下产生。这种情况下,异常同样会带有"reason"属性,它是一个tuple(可以

系统 2019-09-27 17:54:51 2109

Python

python程序常见错误及执行方式

认识错误编写的程序不能正常执行,或者执行的结果不是我们期望的,俗称BUG,是程序员在开发时非常常见的,初学者常见错误的原因包括:手误对已经学习过的知识理解还存在不足对语言还有需要学习和提升的内容在学习语言时,不仅要学会语言的语法,而且还要学会如何认识错误和解决错误的方法每一个程序员都是在不断地修改错误中成长的常见错误:1>手误2>将多条print写在一行每行代码负责完成一个动作3>缩进错误Python是一个格式非常严格的程序设计语言4>python2.x默

系统 2019-09-27 17:54:37 2109

Python

python 中random模块的常用方法总结

python中random的常用方法总结一、random常用模块1.random.random()随机生成一个小数print(random.random())#输出0.60605621179967842.random.randint(m,n)随机生成一个m到n的整数(包括n)print(random.randint(1,5))#输出53.random.randrange(m,n)随机生成m到n中的一个数,包括m但是不包括nprint(random.rand

系统 2019-09-27 17:54:35 2109

Python

Python项目中使用配置文件

一些讨论Python中使用配置文件的最佳实践Python中使用配置文件的最好方法Python符号常量多种配置文件方案对比我的建议1.排除yamlyaml不是一个好主意,因为需要给项目引入额外的依赖。首先排除它,除非是你的个人项目,或者你的项目已经引入了这个package。2.使用setting.py如果你只是需要配置一些全局的符号常量(symbolicconstants),参考Django的做法,使用setting.py,参见:https://github

系统 2019-09-27 17:54:23 2109