搜索到与相关的文章
Python

零基础写python爬虫之urllib2使用指南

前面说到了urllib2的简单入门,下面整理了一部分urllib2的使用细节。1.Proxy的设置urllib2默认会使用环境变量http_proxy来设置HTTPProxy。如果想在程序中明确控制Proxy而不受环境变量的影响,可以使用代理。新建test14来实现一个简单的代理Demo:复制代码代码如下:importurllib2enable_proxy=Trueproxy_handler=urllib2.ProxyHandler({"http":'ht

系统 2019-09-27 17:54:48 1926

Python

【Python3网络爬虫开发实战】7.4-使用Selenium爬取淘宝商品

【摘要】在前一章中,我们已经成功尝试分析Ajax来抓取相关数据,但是并不是所有页面都可以通过分析Ajax来完成抓取。比如,淘宝,它的整个页面数据确实也是通过Ajax获取的,但是这些Ajax接口参数比较复杂,可能会包含加密密钥等,所以如果想自己构造Ajax参数,还是比较困难的。对于这种页面,最方便快捷的抓取方法就是通过Selenium。本节中,我们就用Selenium来模拟浏览器操作,抓取淘宝的商品信息,并将结果保存到MongoDB。1.本节目标本节中,我们

系统 2019-09-27 17:54:29 1926

Python

Python流程控制 while循环实现解析

一、语法while条件:执行代码while就是当的意思,它指当其后面的条件成立,就执行while下面的代码。例:写一个从0打印到10的程序count=0whilecount<=10:print('第%s次'%count)count+=1如果要打印1~10之间的偶数怎么办呢?那就得先搞清楚,怎么判断一个数字是偶数?能被2整除的就是偶数,但如何判断这个数是否能被2整除呢?简单,直接判断这个数除以2之后的余数是否为0就行了,这就用到了前面“Python之运算符”

系统 2019-09-27 17:54:23 1926

Python

Python 控制终端输出文字的实例

如下所示:classbcolors:HEADER='\033[95m'OKBLUE='\033[94m'OKGREEN='\033[92m'WARNING='\033[93m'FAIL='\033[91m'ENDC='\033[0m'defdisable(self):self.HEADER=''self.OKBLUE=''self.OKGREEN=''self.WARNING=''self.FAIL=''self.ENDC=''Tousecodeliket

系统 2019-09-27 17:54:07 1926

Python

python+selenium+autoit实现文件上传功能

问题在做web端ui层自动化的时候会碰到文件上传的操作,经常有朋友问到,这里总结一下解决方案第一种:type=file的上传文件,类似如下的使用类似这样的代码就可以完成:driver.find_element('name','file').send_keys('./小强测试品牌.png')第二种:就是第一种除外的,实现起来较为麻烦,这里用到了autoit,大致步骤如下:1、下载并安装autoit,之后在开始菜单可以看到如下AutoItWindowsInfo

系统 2019-09-27 17:53:55 1926

Python

MySQL-Python安装问题小记

安装完mysql-python后import加载模块提示以下错误,复制代码代码如下:ImportError:libmysqlclient_r.so.16:cannotopensharedobjectfile:Nosuchfileordirectory于是google之,总结一下解决方法:(1)在mysql-ython的安装目录下找到site.cfg,将#mysql_config=XXXXXXXXXXXXXXXX注释符号去掉,并填上mysql_config的

系统 2019-09-27 17:53:27 1926

Python

(Adversarial Examples)的原理与python实现

最近基于对抗样本做了一些工作,这里写一篇论文介绍对抗样本基本的原理和生成方法。内容上参考Goodfellow的论文ExplainingandHarnessingAdversarialExamples一、什么是对抗样本?对抗样本的概念最早提出于2014年Szegedy的论文IntriguingPropertiesofNeuralNetworks.在论文,作者发现了一种有趣的现象,即:当前流行的机器学习模型包括神经网络会容易以很高的置信度分错和原始样本仅仅有轻

系统 2019-09-27 17:53:26 1926

Python

Python中optparse模块使用浅析

最近遇到一个问题,是指定参数来运行某个特定的进程,这很类似Linux中一些命令的参数了,比如ls-a,为什么加上-a选项会响应。optparse模块实现的也是类似的功能,它是为脚本传递命令参数。使用此模块前,首先需要导入模块中的类OptionParser,然后创建它的一个实例(对象):复制代码代码如下:fromoptparseimportOptionParserparser=OptionParser()#这里也可以定义类的参数,后续有接着就可以添加选项了,

系统 2019-09-27 17:53:20 1926

Python

python变量

知识汇总:1-Python语言里一切数据都是对象2-整数:1-python2:int----long(长整数)2-python3:中只有int没有long3-怎么查看类型---type(100)--有返回值--该类型---3-浮点数--小数:type(3.0)------没有double4-数字的运算:1-加法+2-减法-3-乘法*4-除法/1-在python39/4==2.25肯定带小数点等价python2-9//4==22-在python29/4==2

系统 2019-09-27 17:52:42 1926

Python

python文件处理

文件操作对编程语言的重要性不用多说,如果数据不能持久保存,信息技术也就失去了意义。按照本人经验,IO也是蛮头疼的一件事,因为不会用得太多,所以总是记不住API,每次都要重新google就会打断思路,还不一定每次都快速得到正确的文章。本文内容包括:文件的读写操作文件的各种系统操作存储对象遍历文件上代码:importosimportos.pathrootdir="d:/code/su/data"#指明被遍历的文件夹forparent,dirnames,file

系统 2019-09-27 17:52:30 1926