【摘要】在前一章中，我们已经成功尝试分析Ajax来抓取相关数据，但是并不是所有页面都可以通过分析Ajax来完成抓取。比如，淘宝，它的整个页面数据确实也是通过Ajax获取的，但是这些Ajax接口参数比较复杂，可能会包含加密密钥等，所以如果想自己构造Ajax参数，还是比较困难的。对于这种页面，最方便快捷的抓取方法就是通过Selenium。本节中，我们就用Selenium来模拟浏览器操作，抓取淘宝的商品信息，并将结果保存到MongoDB。1.本节目标本节中，我们
系统 2019-09-27 17:54:29 2019
一：从各种不同的格式文件中导入数据,总结目前最常用的文件格式导入数据的一些方法:#-*-coding:utf-8-*-fromnumpyimport*defloadDataSet(fileName):'''导入数据'''numFeat=len(open(fileName).readline().split('\t'))-1dataMat=[]labelMat=[]fr=open(fileName)forlineinfr.readlines():lineAr
系统 2019-09-27 17:54:24 2019
废话不多说，直接上代码#Author:LancyWuproduct_list=[('Iphone',5800),('MacPro',9800),('Bike',800),('Watch',10600),('Coffee',31),('LancyPython',120)]#商品列表shopping_list=[]#定义一个列表来存储已购商品salary=input("请输入工资：")ifsalary.isdigit():#当输入的内容为数字salary=in
系统 2019-09-27 17:54:07 2019
有时候我们的爬虫程序添加了代理，但是我们不知道程序是否获取到了ip，尤其是动态转发模式的，这时候就需要进行检测了，以下是一种代理是否伪装成功的检测方式，这里推介使用亿牛云提供的代码示例。Python¶requests#!-*-encoding:utf-8-*-importrequestsimportrandom#要访问的目标页面targetUrl="http://httpbin.org/ip"#要访问的目标HTTPS页面#targetUrl="https:
系统 2019-09-27 17:54:07 2019
range([start],[end],[long])描述：根据range里的参数生成指定范围指定步长的一个序列参数：[start]——指定范围的左边界，可取到[end]——指定范围的右边界，不可取到[long]——步长，若无步长，默认为1返回值：列表实例：>>>range(0,6,2)[0,2,4]>>>range(5)[0,1,2,3,4]xrange()描述：用法与range完全相同，生成的不是数组，而是一个生成器实例：>>>xrange(0,6,2
系统 2019-09-27 17:54:01 2019
描述sin()返回的x弧度的正弦值。语法以下是sin()方法的语法:importmathmath.sin(x)注意：sin()是不能直接访问的，需要导入math模块，然后通过math静态对象调用该方法。参数x--一个数值。返回值返回的x弧度的正弦值，数值在-1到1之间。实例以下展示了使用sin()方法的实例：#!/usr/bin/pythonimportmathprint"sin(3):",math.sin(3)print"sin(-3):",math.s
系统 2019-09-27 17:53:29 2019
requests提供了一个叫做session类，来实现客户端和服务端的会话保持使用方法1.实例化一个session对象2.让session发送get或者post请求session=requests.session()session.get(url,headers)下面就用人人网来实战一下#coding=utf-8importrequestssession=requests.session()#登录的表单urlpost_url="http://www.ren
系统 2019-09-27 17:53:16 2019
关于我一个有思想的程序猿，终身学习实践者，目前在一个创业团队任teamlead，技术栈涉及Android、Python、Java和Go，这个也是我们团队的主要技术栈。Github：https://github.com/hylinux1024微信公众号：终身开发者(angrycode)Flask中全局变量有current_app、request、g和session。不过需要注意的是虽然标题是写着全局变量，但实际上这些变量都跟当前请求的上下文环境有关，下面一起
系统 2019-09-27 17:52:39 2019
本文实例讲述了Python闭包和装饰器用法。分享给大家供大家参考，具体如下：Python的装饰器的英文名叫Decorator，作用是完成对一些模块的修饰。所谓修饰工作就是想给现有的模块加上一些小装饰（一些小功能，这些小功能可能好多模块都会用到），但又不让这个小装饰（小功能）侵入到原有的模块中的代码里去。闭包1.函数引用#coding=utf-8deftest1():print('Thisistest1!')#调用函数test1()#引用函数ret=test
系统 2019-09-27 17:52:24 2019
1.常用模块#连接数据库connect()函数创建一个新的数据库连接对话并返回一个新的连接实例对象PG_CONF_123={'user':'emma','port':123,'host':'192.168.1.123','password':'emma','database':'dbname'}conn=psycopg2.connect(**PG_CONF_123)#打开一个操作整个数据库的光标连接对象可以创建光标用来执行SQL语句cur=conn.cur
系统 2019-09-27 17:52:21 2019
