搜索到与相关的文章
Python

Python爬取视频(其实是一篇福利)过程解析

窗外下着小雨,作为单身程序员的我逛着逛着发现一篇好东西,来自知乎你都用Python来做什么?的第一个高亮答案。到上面去看了看,地址都是明文的,得,赶紧开始吧。下载流式文件,requests库中请求的stream设为True就可以啦,文档在此。先找一个视频地址试验一下:#-*-coding:utf-8-*-importrequestsdefdownload_file(url,path):withrequests.get(url,stream=True)asr

系统 2019-09-27 17:52:41 2245

Python

Python Web框架Flask中使用百度云存储BCS实例

对于部署在百度应用引擎BAE上的项目,使用百度云存储BCS(BaiduCloudStorage)是不错的存储方案。百度云存储已有PythonSDK,对它进行简单封装后,就可以直接在Flask中使用了,项目代码见GitHub上Flask-BCS。使用示例代码:复制代码代码如下:fromflaskimportFlaskfromflask_bcsimportBCSBCS_HOST='BCSHOST'BCS_ACCESS_KEY='BCSAccessKey'BCS

系统 2019-09-27 17:52:25 2245

Python

python 通过logging写入日志到文件和控制台的实例

如下所示:importlogging#创建一个loggerlogger=logging.getLogger('mylogger')logger.setLevel(logging.DEBUG)#创建一个handler,用于写入日志文件fh=logging.FileHandler('test.log')fh.setLevel(logging.DEBUG)#再创建一个handler,用于输出到控制台ch=logging.StreamHandler()ch.set

系统 2019-09-27 17:51:25 2245

Python

Python 之父再发文:构建一个 PEG 解析器

Python之父再发文:构建一个PEG解析器image花下猫语:Python之父在Medium上开了博客,现在写了两篇文章,本文是第二篇的译文。前一篇的译文在此,宣布了将要用PEG解析器来替换当前的pgen解析器。本文主要介绍了构建一个PEG解析器的大体思路,并介绍了一些基本的语法规则。根据Python之父的描述,这个PEG解析器还是一个很笼统的实验品,而他也预告了,将会在以后的系列文章中丰富这个解析器。阅读这篇文章就像在读一篇教程,虽然很难看懂,但是感觉

系统 2019-09-27 17:51:22 2245

Python

Python实现数据可视化看如何监控你的爬虫状态【推荐】

今天主要是来说一下怎么可视化来监控你的爬虫的状态。相信大家在跑爬虫的过程中,也会好奇自己养的爬虫一分钟可以爬多少页面,多大的数据量,当然查询的方式多种多样。今天我来讲一种可视化的方法。关于爬虫数据在mongodb里的版本我写了一个可以热更新配置的版本,即添加了新的爬虫配置以后,不用重启程序,即可获取刚刚添加的爬虫的状态数据。1.成品图这个是监控服务器网速的最后成果,显示的是下载与上传的网速,单位为M。爬虫的原理都是一样的,只不过将数据存到InfluxDB的

系统 2019-09-27 17:50:52 2245

Python

python3.6 如何将list存入txt后再读出list的方法

今天遇到一个需求,就是将一个list文件读取后,存入一个txt配置文件。存入时,发现list文件无法直接存入,必须转为str模式。但在读取txt时,就无法恢复成list类型来读取了(准确地说,即使强行使用list读取,读出来的也是单个的字符)。查了查资料,发现json.loads和json.dumps这对兄弟提供了一个很好的办法。下面看代码#python3.6#!/usr/bin/envpython#-*-coding:utf-8-*-__author__

系统 2019-09-27 17:50:48 2245

Python

Python窗体输入、展示并存储数据

Python窗体输入、展示并存储数据利用python的tkinter进行窗体开发,可以实现输入框,以及利用get函数获取输入框的数据,并将这些数据存储到本地,如果利用数据库,也可以把窗体获取的数据导入到数据库中fromtkinterimport*importtkinter.messageboxasmessageboxroot=Tk()root.title("信息输入框")root.geometry('300x300')input1=Label(root,t

系统 2019-09-27 17:50:46 2245

Python

使用Filter过滤python中的日志输出的实现方法

事情是这样的,我写了一个tornado的服务,过程当中我用logging记录一些内容,由于一开始并没有仔细观察tornado自已的日志管理,所以我就一般用debug来记录普通日志,error记录有问题的日志,但是当服务跑起来以后才发现,tornado的访问日志的级别是info,也就是20,debug是10的,所以如果我定义了日志的级别是debug,那么默认情况下肯定也会输出到日志文件中的。但是我现在并不关心访问日志,而且由于我这个服务可能每时每刻都会有访问

系统 2019-09-27 17:50:30 2245

Python

python之简单的get和post请求

1.json模块提供了一种很简单的方式来编码和解码JSON数据。其中两个主要的函数是json.dumps()和json.loads(),要比其他序列化函数库如pickle的接口少得多。下面演示如何将一个Python数据结构转换为JSON:'''遇到问题没人解答?小编创建了一个Python学习交流QQ群:857662006寻找有志同道合的小伙伴,互帮互助,群里还有不错的视频学习教程和PDF电子书!'''importjsondata={'name':'ACME

系统 2019-09-27 17:50:20 2245

Python

python学习 第二天

一、运算符1、算术运算符:+-*///**%+加两个数相加1+2=3-减两个数相减3-1=2*乘两个数相乘1*2=2/除两个数相除5/2=2.5//整除两个数相除得到整数5//2=2**幂幂次方2**3=8%取余两个数的余数5%2=1(可以用来判断奇偶数取余为0的时候为偶数取余为1的时候为奇数)2、比较运算符:>、<、>=、<=、==、!=结果只有真假truefalse为bool类型3、赋值运算符:+=-=*=/=//=%=**=num+=1等价于num=

系统 2019-09-27 17:49:47 2245