搜索到与相关的文章
Python

详解pyppeteer(python版puppeteer)基本使用

一、前言以前使用selenium的无头浏览器,自从phantomjs2016后慢慢不更新了之后,selenium也开始找下家,这时候谷歌的chrome率先搞出来无头浏览器并开放了各种api,随后firefox也开始做。现在selenium的测试也都支持这两个浏览器的无头模式了,只需要在引入的时候配置一下就可以了。之所以要采用谷歌chrome官方无头框架puppeteer的python版本pyppeteer,是因为有些网页是可以检测到是否是使用了seleni

系统 2019-09-27 17:52:58 2219

Python

Python中字典和JSON互转操作实例

JSON是一种轻量级的数据交换格式,各种语言都有良好的支持。字典是Python的一种数据结构。可以看成关联数组。有些时候我们需要设计到字典转换成JSON序列化到文件,或者从文件中读取JSON。简单备忘一下。Dict转JSON写入文件复制代码代码如下:#!/usr/bin/envpython#coding=utf-8importjsond={'first':'One','second':2}json.dump(d,open('/tmp/result.txt'

系统 2019-09-27 17:52:57 2219

Python

详解python websocket获取实时数据的几种常见链接方式

第一种,使用create_connection链接,需要pipinstallwebsocket-client(此方法不建议使用,链接不稳定,容易断,并且连接很耗时)importtimefromwebsocketimportcreate_connectionurl='wss://i.cg.net/wi/ws'whileTrue:#一直链接,直到连接上就退出循环time.sleep(2)try:ws=create_connection(url)print(ws

系统 2019-09-27 17:52:20 2219

Python

使用numba对Python运算加速的方法

有时候需要比较大的计算量,这个时候Python的效率就很让人捉急了,此时可以考虑使用numba进行加速,效果提升明显~(numba安装貌似很是繁琐,建议安装Anaconda,里面自带安装好各种常用科学计算库)fromnumbaimportjit@jitdeft(count=1000):total=0foriinrange(int(count)):total+=ireturntotal测试效果:(关于__wrapped__见我的博文:浅谈解除装饰器作用(py

系统 2019-09-27 17:50:24 2219

Python

使用cron定时周期性执行python任务

1.安装python-crontabpipinstallpython-crontab2.设置定时任务fromcrontabimportCronTabmy_cron=CronTab(user='xxx')job1=my_cron.new(command='pythonxxx1.py')job1.minute.every(6)#定周期任务,每6分钟运行一次job2=my_cron.new(command='pythonxxx2.py')job2.hour.ev

系统 2019-09-27 17:50:23 2219

Python

Python爬虫偷懒神器!快速一键生成Python爬虫请求头

今天介绍个神奇的网站!堪称爬虫偷懒的神器!我们在写爬虫,构建网络请求的时候,不可避免地要添加请求头(headers),以mdn学习区为例,我们的请求头是这样的:一般来说,我们只要添加user-agent就能满足绝大部分需求了,Python代码如下:在学习过程中有什么不懂得可以加我的python学习交流扣扣qun,784758214群里有不错的学习视频教程、开发工具与电子书籍。与你分享python企业当下人才需求及怎么从零基础学习好python,和学习什么内

系统 2019-09-27 17:50:07 2219

Python

Python类中的魔法方法之 __slots__

在类中每次实例化一个对象都会生产一个字典来保存一个对象的所有的实例属性,这样非常的有用处,可以使我们任意的去设置新的属性。每次实例化一个对象python都会分配一个固定大小内存的字典来保存属性,如果对象很多的情况下会浪费内存空间。可通过__slots__方法告诉python不要使用字典,而且只给一个固定集合的属性分配空间classFoo(object):__slots__=("x","y","z")def__init__(self,x,y):self.x=

系统 2019-09-27 17:48:00 2219

Python

【面试】python常见问题

python2和python3的区别fun(*args,**kwargs)中的*args,**kwargs什么意思?谈下python的GIL列出5个python标准库一句话解释什么样的语言能够使用装饰器python的内建数据类型有哪些简述__init____new__和__init的区别简述with方法打开处理文件列出python中可变数据类型和不可变数据类型装饰器python为什么不需要编译,你是怎么理解python解释器的你写代码的时候会考虑对代码进行

系统 2019-09-27 17:47:35 2219

Python

Python学习:日志

日志如果你曾经在代码中加入print()语句,在程序运行时输出某些变量的值,你就使用了记日志的方式来调试代码。记日志是一种很好的方式,可以理解程序中发生的事,以及事情发生的顺序。Python的logging模块使得你很容易创建自定义的消息记录。这些日志消息将描述程序执行何时到达日志函数调用,并列出你指定的任何变量当时的值。另一方面,缺失日志信息表明有一部分代码被跳过,从未执行。使用日志模块要启用logging模块,在程序运行时将日志信息显示在屏幕上,请将下

系统 2019-09-27 17:47:25 2219