这篇博客做一个爬虫的实例今天刚看到一个新闻,在7月26日上映的《哪吒之魔童降世》,密钥第二次延期至10月26日。截止至9月17日,《哪吒之魔童降世》票房已超49亿票房,在豆瓣上对该电影的评价有好有坏。说实话,博主看了这个电影真的觉得蛮不错的,因此把短评中的差评爬取下来,看下差评包括哪些方面。目录一、BeautifulSoup二、xpath三、正则表达式一、BeautifulSoup首先需要了解下差评文字内容在哪些标签下:进入豆瓣该电影短评界面,检查元素:可
系统 2019-09-27 17:53:05 1943
前言栈、队列和优先级队列都是非常基础的数据结构。Python作为一种“编码高效”的语言,对这些基础的数据结构都有比较好的实现。在业务需求开发过程中,不应该重复造轮子,今天就来看看些数据结构都有哪些实现。0x00栈(Stack)栈是一种LIFO(后进先出)的数据结构,有入栈(push)、出栈(pop)两种操作,且只能操作栈顶元素。在Python中有多种可以实现栈的数据结构。1、listlist是Python内置的列表数据结构,它支持栈的特性,有入栈和出栈操作
系统 2019-09-27 17:52:46 1943
在写程序时,我们经常需要定义一些路径常量,为了逻辑和代码的清晰,可以新建一个config.ini文件,然后调用其中的信息即可。config.ini文件格式如下:[section1]model_dir=/home/user/nlp-data/trained-model;注释save_input=./profiling/inputsave_state=./profiling/state......[section2]save_output=./profilin
系统 2019-09-27 17:51:24 1943
#/usr/bin/envpython#coding:utf-8#进程检测程序importosimportpsutilimportdatetime#获取用户输入的PID#获取pid对应的应用名p=psutil.Process(os.getpid())print('Processname:%s'%p.name())#获取进程bin路径print('Processbinpath:%s'%p.exe())#获取pid对应的路径print('Processpath
系统 2019-09-27 17:50:43 1943
mongodb是基于分布式文件存储的nosql(非关系型)数据库虽说是nosqldb,butmongodb其中的文档可以是关系型的在mongodb中,表为集合,里面的数据为文档;文档本质就是一条调JSON数据进入mongodb:mongo退出mongodb:exit库操作显示库:showdbs选择或者创建:usellsdb#不管该库是否存在,都会use进入,如何该库不存在,use进去不存入数据退出时,该库不会被创建.所以创建库就use再写入数据.查看所在库
系统 2019-09-27 17:50:39 1943
<1.Python语言介绍1.官方介绍:Python是一款易于学习且功能强大的编程语言。它具有高效率的数据结构,能够简单又有效地实现面向对象编程。Python简洁的语法与动态输入之特性,加之其解释性语言的本质,使得它成为一种在多种领域与绝大多数平台都能进行脚本编写与应用快速开发工作的理想语言。2.特点:简单、易于学习、自由且开放、跨平台、可嵌入性、丰富的库。3.Python使用情况:目前已经超越java成为第一,一下为部分使用的公司。4.Python使用领
系统 2019-09-27 17:49:59 1943
1.python中创建进程的两种方式:frommultiprocessingimportProcessimporttimedeftest_():print'-----test-----'if__name__=='__main__':p=Process(target=test_)p.start()whileTrue:print'--main--''''1.通过process类创建一个进程对象,然后start即可开启进程,testtest_函数是进程实现的功能
系统 2019-09-27 17:49:44 1943
1动机greenlet包是Stackless的副产品,其将微线程称为“tasklet”。tasklet运行在伪并发中,使用channel进行同步数据交换。一个”greenlet”,是一个更加原始的微线程的概念,但是没有调度,或者叫做协程。这在你需要控制你的代码时很有用。你可以自己构造微线程的调度器;也可以使用”greenlet”实现高级的控制流。例如可以重新创建构造器;不同于Python的构造器,我们的构造器可以嵌套的调用函数,而被嵌套的函数也可以yiel
系统 2019-09-27 17:49:28 1943
Python重试模块retrying工作中经常碰到的问题就是,某个方法出现了异常,重试几次。循环重复一个方法是很常见的。比如爬虫中的获取代理,对获取失败的情况进行重试。刚开始搜的几个博客讲的有点问题,建议看官方文档,还有自己动手实验。参考:https://segmentfault.com/a/1190000004085023https://pypi.org/project/retrying/最初的版本importrequestsclassProxyUtil
系统 2019-09-27 17:49:24 1943
本文实例为大家分享了python傅里叶变换FFT绘制频谱图的具体代码,供大家参考,具体内容如下频谱图的横轴表示的是频率,纵轴表示的是振幅#coding=gbkimportnumpyasnpimportpandasaspdimportmatplotlib.pyplotasplt#依据快速傅里叶算法得到信号的频域deftest_fft():sampling_rate=8000#采样率fft_size=8000#FFT长度t=np.arange(0,1.0,1.
系统 2019-09-27 17:48:55 1943