为了配合LogStash日志收集服务,需要将线上服务的日志输出改为json格式。python日志标准库中并没有json格式的formatter,网上虽然已经有一些json相关的formatter,但不是很满意,就自己开发了一个并放到了github和pypi,目前仅支持Python3,能够很方便的解决自定义名映射属性问题,也支持新增自定义属性。欢迎到我的github点星星、提问题:https://github.com/MyColorfulDays/jsonf
系统 2019-09-27 17:53:20 1963
爬虫爬取网页信息的思路:发送网页端请求—>获取响应内容—>解析内容—>获取想要的数据—>保存数据这次我们要实现的是爬取静态网页的股票数据,首先是获取沪深A股的所有股票代码,再用这些股票代码获取相应股票的信息东方财富网有所有个股的股票代码(沪深A股所有股票)查看其网页源代码在网页源代码中可以搜索到相应的元素,判断其是数据是静态的接下来是获取每只个股的信息,由于周六日没开市,东方财富网的个股信息没有显示这里改用百度股市通(个股)同样地检查元素可以发现个股的信息
系统 2019-09-27 17:52:55 1963
Python3爬取猫眼电影信息importjsonimportrequestsfromrequests.exceptionsimportRequestExceptionimportreimporttime#爬取猫眼电影信息defget_one_page(url):#增加了User-Agent识别,需要在headers中添加User-Agent参数。try:headers={'User-Agent':'Mozilla/5.0(Macintosh;IntelM
系统 2019-09-27 17:51:37 1963
需要用到的库:操作xls格式的表格文件:读取:xlrd写入:xlwt修改(追加写入):xlutils操作Excel文件的实用工具,如复制、分割、筛选等操作xlsx格式的表格文件:读取/写入:openpyxl新建,写入内容,保存。#coding=utf-8importxlwtimportxlrdtry:#创建excel文件filename=xlwt.Workbook()#给工作表命名,testsheet=filename.add_sheet("test")#
系统 2019-09-27 17:51:19 1963
今天先聊一聊在windows/maciOS系统下用venv搭建python轻量级虚拟环境的问题。使用venv搭建的虚拟环境同virtualenv搭建的虚拟环境,即venv可替代virtualenv1.虚拟环境的作用是:搭建独立的python运行环境,不与其他产生冲突就是说,安装在虚拟环境里的所有包,均不会对环境外的其他包产生影响,反之,在虚拟环境下运行时只能调用虚拟环境中安装的包,不会调用外部的包。比如,mac系统自带python2,我搭建了虚拟环境安装p
系统 2019-09-27 17:50:59 1963
目录1、常见并发类型2、同步版本3、多线程4、异步IO5、多进程6、总结1、常见并发类型I/O密集型:蓝色框表示程序执行工作的时间,红色框表示等待I/O操作完成的时间。此图没有按比例显示,因为internet上的请求可能比CPU指令要多花费几个数量级的时间,所以你的程序可能会花费大部分时间进行等待。CPU密集型:IO密集型程序将时间花在cpu计算上。常见并发类型以及区别:2、同步版本我们将使用requests访问100个网页,使用同步的方式,request
系统 2019-09-27 17:50:10 1963
玩转Python量化金融工具之NumPy一切事物的开头总是困难这句话,在任何一种科学上都是适用的。——马克思前言“手把手教你”系列将为Python初学者一一介绍Python在量化金融中运用最广泛的几个库(Library):NumPy(数组、线性代数)、SciPy(统计)、pandas(时间序列、数据分析)、matplotlib(可视化分析)。建议安装Anaconda软件(自带上述常见库),并使用JupyterNotebook交互学习。1、使用“import
系统 2019-09-27 17:49:04 1963
继PLPY4月榜单官宣,Python躺赢,再度“夺”冠,实力甩下Java和C后,近期,StackOverflow发布了2019开发者调查报告,也证实了王者陨落这一事实。那么,2019年大环境下,程序员群体正在发生哪些变化?收入究竟如何?这份报告邀请超147个国家、9万名开发者参与调查,内容涉及开发者基本情况、技术、工作、社区、方法论多个维度。以下为和正在敲代码的你息息相关的结论。2019年Python趋势分析:https://edu.csdn.net/to
系统 2019-09-27 17:48:15 1963
点击获取后,返回2s后的鼠标位置,显示在文本框(需要用pip命令安装所需的的库)(pipinstall模块名比如安装pyautogui模块在cmd里面输入:pipinstallpyautogui)#!/usr/bin/python3#-*-coding:UTF-8-*-importtimeimportpyautoguiaspagimporttkinterdefget():po.delete(0,tkinter.END)time.sleep(2)#几秒后返回
系统 2019-09-27 17:47:35 1963
文章目录内存1.顺序表的形式(元素内置vs外置)元素内置元素外置2.顺序表结构(一体式vs分离式)一体式存储更换数据分离式存储更换数据数据区扩充3.顺序表的操作增加元素删除元素4.python中的顺序表List的基本实现技术内存内存以1Byte=8bits来作为存储单位。操作系统寻址最小单位为字节,一个字节为8bit。一个整形int占4Byte.在计算机中占用内存如下:0x01-0x04对应的内存存储的就是整体inta,所以我们可以看到这时把它当作一个整体
系统 2019-09-27 17:46:04 1963