搜索到与相关的文章
Python

Python使用Selenium爬取淘宝异步加载的数据方法

淘宝的页面很复杂,如果使用分析ajax或者js的方式,很麻烦抓取淘宝‘美食'上面的所有食品信息spider.py#encoding:utf8importrefromseleniumimportwebdriverfromselenium.common.exceptionsimportTimeoutExceptionfromselenium.webdriver.common.byimportByfromselenium.webdriver.support.ui

系统 2019-09-27 17:50:09 1944

Python

Python数据类型详解——集合

Python数据类型详解——集合一、定义集合跟列表有点像,也是可以存一堆数据的,不过它有几个独特的特点:1、集合里的元素不可变,即不能再集合里存储列表(list)、字典(dict)。字符串、数字、元组等不可变类型可以存储再集合中。2、天生去重,即在集合里不会出现重复元素,就算你故意写入重复元素,集合也会自动去掉重复的,只保留一个。3、无序,集合中的元素没有先后之分。二、语法1、创建集合a={2,321,'Kwan',1,'小明','Kwan',321}2、

系统 2019-09-27 17:50:08 1944

Python

Python -- 限流 throttle

前言一个业务型的服务,被open接口后,遭遇并发扫数据,于是要做限流操作。一直固执的认为,业务API和OpenAPI要分开处理,或许因为起初接入其他企业ERP系统都是走较为规范的OpenAPI,始终对于这种开发系统业务API的做法感觉不好。窗口限流需求是要在Django的一个工程里做限流,倘若是rest_framework的View也好办,直接就提供了限流rest_frameworkthrottling可参照文档设置。不能直接使用设置的原因是,面对是Dja

系统 2019-09-27 17:49:39 1944

Python

Python:Python 自动化测试框架 unittest 和 pytest

一、用例编写规则1.unittest提供了testcases、testsuites、testfixtures、testrunner相关的类,让测试更加明确、方便、可控。使用unittest编写用例,必须遵守以下规则:(1)测试文件必须先importunittest(2)测试类必须继承unittest.TestCase(3)测试方法必须以“test_”开头(4)测试类必须要有unittest.main()方法2.pytest是python的第三方测试框架,是

系统 2019-09-27 17:49:08 1944

Python

MacOS-Python-Tensorflow-Virtualenv-安装

--安装python从官方网站下载并安装Python3.x最新版https://www.python.org/downloads/mac-osx/--安装pippip是python第三方包(扩展功能包)安装和管理工具,有了它我们可以安装各种扩展功能终端执行下面的命令,安装pipsudoeasy_installpip--安装virtualenvVirtualenv是用来为每个项目创建单独的python虚拟运行环境,每个项目可以使用不同的第三方包,各个项目互不

系统 2019-09-27 17:48:32 1944

Python

Python中利用原始套接字进行网络编程的示例

在实验中需要自己构造单独的HTTP数据报文,而使用SOCK_STREAM进行发送数据包,需要进行完整的TCP交互。因此想使用原始套接字进行编程,直接构造数据包,并在IP层进行发送,即采用SOCK_RAW进行数据发送。使用SOCK_RAW的优势是,可以对数据包进行完整的修改,可以处理IP层上的所有数据包,对各字段进行修改,而不受UDP和TCP的限制。下面开始构造HTTP数据包,IP层和TCP层使用python的Impacket库,http内容自行填写。#!/

系统 2019-09-27 17:48:25 1944

Python

Python基础一

1.python的历史2004年Django框架诞生python2:源码不统一,有重复的功能代码python3:源码统一,没有重复功能代码2.python是一个什么编程语言编译型:统一翻译,只翻译一次(代表C)优点:执行速度快;编译器一般会有预编译的过程对代码进行优化。因为编译只做一次,运行时不需要编译,所以编译型语言的程序执行效率高。可以脱离语言环境独立运行。缺点:开发速度慢;编译之后如果需要修改就需要整个模块重新编译。编译的时候根据对应的运行环境生成机

系统 2019-09-27 17:48:23 1944

Python

Python 编码规范(Google Python Style Guide)

Python风格规范(Google)本项目并非Google官方项目,而是由国内程序员凭热情创建和维护。如果你关注的是Google官方英文版,请移步GoogleStyleGuide以下代码中Yes表示推荐,No表示不推荐。分号不要在行尾加分号,也不要用分号将两条命令放在同一行。行长度每行不超过80个字符以下情况除外:长的导入模块语句注释里的URL不要使用反斜杠连接行。Python会将圆括号,中括号和花括号中的行隐式的连接起来,你可以利用这个特点.如果需要,你

系统 2019-09-27 17:48:09 1944

Python

使用python编写android截屏脚本双击运行即可

测试的过程中经常需要截取屏幕,通常的做法是使用手机自带的截屏功能,然后将截屏文件复制出来,这种方法的优点是不需要连接数据线就可截屏,缺点则是生成的截屏文件命名是随机命名的,复制出来也比较麻烦。另一种方法是使用PC端的手机助手类软件。这里使用python编写一个截屏的脚本,双击运行脚本就OK,截屏成功后会将截屏文件已当前时间命名,并保存在存放脚本的当前路径的screenshot文件夹下:#!/usr/bin/envpythonimportosimportti

系统 2019-09-27 17:47:18 1944

Python

Python3内置模块之json编解码方法小结

概述Python3中我们利用内置模块json解码和编码JSON对象,JSON(JavaScriptObjectNotation)是指定RFC7159(废弃了RFC4627)和ECMA-404是一种轻量级数据交换格式,受JavaScript对象文字语法的启发(虽然它不是JavaScript1的严格子集)。下面为Python对象–>JSON对象的对照关系表。PythonJSONdictobjectlist,tuplearraystr,unicodestring

系统 2019-09-27 17:47:12 1944