Python

Python爬虫,使用BeautifulSoup解析页面结果

Python爬虫,使用BeautifulSoup可以轻松解析页面结果,下面是使用该方法爬取boss页面的职位信息:包括职位名称、薪资、地点、公司名称、公司融资情况等信息。通过这个示例可以轻松看到BeautifulSoup的使用方法。1、爬取boss直聘的职位信息importrequestsfrombs4importBeautifulSoupfrommiddlewaresimportget_random_proxy,get_random_agentimpor

系统 2019-09-27 17:51:39 2204

Python

用python实现对文件某一个值修改

将test01.csv中的张三语文成绩替换成100,且不改变文件其他内容新建一个test02.csv的空文件代码实现如下:importoswithopen("./test01.csv",mode="r",encoding="utf-8")ast1,open("./test02.csv",mode="w",encoding="utf-8")ast2:forlineint1:#文件也是可以迭代的一行行拿出来替换写入新文件中,节省内存if"语文"inline:l

系统 2019-09-27 17:51:18 2204

Python

Python中向量化运算

#生成等差数列#一般的赋值需要通过for函数r1_10=range(1,10,1)foriinr1_10:print(i)importnumpynumpy.arange(2,10,3)r=numpy.arange(2,10,3)#向量化运算r+rr-rr*rr/r#函数的向量化次方运算numpy.power(r,3)#向量化运算,比较运算r>=5#结合过滤运算r[r>=5]#矩阵运算,r乘以r的转置numpy.dot(r,r.T)#向量化的数据框运算fro

系统 2019-09-27 17:50:35 2204

Python

Python -- pycurl, mysqlclient, Django

前言本不想多说什么,年后在公司亲历一段别样经验,不想吐槽,只因吐槽不能改变任何现状。小姐心态,寡妇待遇,妇联追求,一份技术工作做出弯腰,低头,下跪,也是醉了。今年大环境不好,大厂裁员,人才过盛,好在自己还是去了符合自己意愿的公司。新工作快一个月,主要工作技术内容是一个Django的小东西,首先是需要从Python2迁移至Python3,简单带点重构。Python2迁移Python3运行环境服务run在docker里,启动方式里面没有嵌入太多环境变量,基本基

系统 2019-09-27 17:50:00 2204

Python

使用python进行波形及频谱绘制的方法

如下所示:#-*-coding:UTF-8-*-importwaveimportnumpyasnpimportmatplotlib.pyplotasplt#打开wav文件,open返回一个的是一个Wave_read类的实例,通过调用它的方法读取WAV文件的格式和数据。f=wave.open(r"D:\project\REC001.wav","rb")#读取格式信息#一次性返回所有的WAV文件的格式信息,它返回的是一个组元(tuple):声道数,量化位数(b

系统 2019-09-27 17:49:51 2204

Python

Python -- 限流 throttle

前言一个业务型的服务,被open接口后,遭遇并发扫数据,于是要做限流操作。一直固执的认为,业务API和OpenAPI要分开处理,或许因为起初接入其他企业ERP系统都是走较为规范的OpenAPI,始终对于这种开发系统业务API的做法感觉不好。窗口限流需求是要在Django的一个工程里做限流,倘若是rest_framework的View也好办,直接就提供了限流rest_frameworkthrottling可参照文档设置。不能直接使用设置的原因是,面对是Dja

系统 2019-09-27 17:49:39 2204

Python

Python爬出基础编程

阅读更多初学Python爬虫时都会从最简单的方法开始,以下为几种常见的基础做法。"""简单的循环处理"""importrequestsurl_list=["https://www.baidu.com","https://www.cnblogs.com/"]forurlinurl_list:result=requests.get(url)print(result.text)"""线程池处理"""importrequestsfromconcurrent.fut

系统 2019-09-27 17:49:32 2204

Python

python初始化定长列表

>>>lst=['x'forninrange(5)]>>>print(lst)['x','x','x','x','x']>>>lst=['z']*5>>>print(lst)['z','z','z','z','z']>>>lst=[0]*3>>>print(lst)[0,0,0]

系统 2019-09-27 17:48:48 2204

Python

python 文本相似度计算

参考:python文本相似度计算原始语料格式:一个文件,一篇文章。#!/usr/bin/envpython#-*-coding:UTF-8-*-importjiebafromgensimimportcorpora,models,similaritiesimportcodecsdefcut_words(file):withopen(file,'r',encoding="utf-8")asf:text=f.read()words=jieba.lcut(text

系统 2019-09-27 17:48:40 2204

Python

python 中的列表生成式、生成器表达式、模块导入

5.16列表生成式l=[]foriinrange(100):l.append('egg%s'%i)print(l)​l=['egg%s'%iforiinrange(100)]l=['egg%s'%iforiinrange(1000)ifi>10]print(l)5.17列表生成式与生成器表达式的应用names=['egon','alex_sb','wupeiqi','yuanhao','lxx']res=map(lambdax:x.upper(),name

系统 2019-09-27 17:48:05 2204

Python

060 Python必备库-从数据处理到人工智能

目录一、概述1.1从数据处理到人工智能二、Python库之数据分析2.1numpy2.2pandas2.3scipy三、Python库之数据可视化3.1matplotlib3.2Seaborn3.3Mayavi四、Python库之文本处理4.1PyPDF24.2NLTK4.3Python-docx五、Python库之机器学习5.1Scikit-learn5.2TensorFlow5.3MXNet六、单元小结6.1从数据处理到人工智能一、概述1.1从数据处理

系统 2019-09-27 17:47:49 2204

Python

Python:logging 的巧妙设计

引言logging的基本用法网上很多,这里就不介绍了。在引入正文之前,先来看一个需求:假设需要将某功能封装成类库供他人使用,如何处理类库中的日志?数年前在一个C#开发的项目中,我用了这样的方法:定义一个logging基类,所有需要用到日志的类都继承这个基类,这个基类中定义一个LogHandler事件,该事件用于实现具体的记录日志动作,同时可以通过将类A的LogHandler委托挂到类B的LogHandler上,实现将两个类的日志信息添加到一起。自从看了py

系统 2019-09-27 17:47:37 2204

Python

Python中处理字符串之isalpha()方法的使用

isalpha()方法检查字符串是否仅由字母组成。语法以下是islpha()方法的语法:str.isalpha()参数NA返回值如果字符串中的所有字符字母和至少有一个字符此方法返回true,否则返回false。例子下面的例子显示了isalpha()方法的使用。#!/usr/bin/pythonstr="this";#Nospace&digitinthisstringprintstr.isalpha();str="thisisstringexample...

系统 2019-09-27 17:47:18 2204

Python

python之带参的装饰器

在带有参数的的函数进行装饰时defpri(func):defone(*a,**b):#这里要带参func(*a,**b)#这里也要带参returnone@prideftest(*a,**b):#不定长参数print(a,b)test(1,2,a=2)对有返回值的函数进行装饰时defpri(func):defone():returnfunc()#要将func()返回returnone@prideftest():returnTrueprint(test())带

系统 2019-09-27 17:46:29 2204

Python

Python解释执行原理分析

本文较为详细的分析了Python解释执行的原理,对于深入理解Python可以起到一定的帮助作用。具体分析如下:首先,这里的解释执行是相对于编译执行而言的。我们都知道,使用C/C++之类的编译性语言编写的程序,是需要从源文件转换成计算机使用的机器语言,经过链接器链接之后形成了二进制的可执行文件。运行该程序的时候,就可以把二进制程序从硬盘载入到内存中并运行。但是对于Python而言,python源码不需要编译成二进制代码,它可以直接从源代码运行程序。当我们运行

系统 2019-09-27 17:46:15 2204