- 军军小站|张军博客
搜索到与相关的文章
Python

【Python3网络爬虫开发实战】7.4-使用Selenium爬取淘宝商品

【摘要】在前一章中,我们已经成功尝试分析Ajax来抓取相关数据,但是并不是所有页面都可以通过分析Ajax来完成抓取。比如,淘宝,它的整个页面数据确实也是通过Ajax获取的,但是这些Ajax接口参数比较复杂,可能会包含加密密钥等,所以如果想自己构造Ajax参数,还是比较困难的。对于这种页面,最方便快捷的抓取方法就是通过Selenium。本节中,我们就用Selenium来模拟浏览器操作,抓取淘宝的商品信息,并将结果保存到MongoDB。1.本节目标本节中,我们

系统 2019-09-27 17:54:29 1817

Python

[Python] 函数的参数

戳这里~小结Python的函数具有非常灵活的参数形态,既可以实现简单的调用,又可以传入非常复杂的参数。默认参数一定要用不可变对象,如果是可变对象,程序运行时会有逻辑错误!要注意定义可变参数和关键字参数的语法:*args是可变参数,args接收的是一个tuple;**kw是关键字参数,kw接收的是一个dict。以及调用函数时如何传入可变参数和关键字参数的语法:可变参数既可以直接传入:func(1,2,3),又可以先组装list或tuple,再通过*args传

系统 2019-09-27 17:54:27 1817

Python

Python流程控制 while循环实现解析

一、语法while条件:执行代码while就是当的意思,它指当其后面的条件成立,就执行while下面的代码。例:写一个从0打印到10的程序count=0whilecount<=10:print('第%s次'%count)count+=1如果要打印1~10之间的偶数怎么办呢?那就得先搞清楚,怎么判断一个数字是偶数?能被2整除的就是偶数,但如何判断这个数是否能被2整除呢?简单,直接判断这个数除以2之后的余数是否为0就行了,这就用到了前面“Python之运算符”

系统 2019-09-27 17:54:23 1817

Python

库函数tf.conv2d()卷积的python实现

话不多说,代码说话:importnumpyasnpimportmathclassConv2D(object):def__init__(self,shape,output_channels,ksize=3,stride=1,method='VALID'):self.input_shape=shapeself.output_channels=output_channelsself.input_channels=shape[-1]self.batchsize=s

系统 2019-09-27 17:54:06 1817

Python

百度大牛总结十条Python面试题检验你的真实水平

Python是个非常受欢迎的编程语言,随着近些年机器学习、云计算等技术的发展,Python的职位需求越来越高。下面我收集了10个Python面试官经常问的问题,供大家参考学习。作者:xiaochao来源:马哥Linux运维|2018-02-0116:00收藏分享概述Python是个非常受欢迎的编程语言,随着近些年机器学习、云计算等技术的发展,Python的职位需求越来越高。下面我收集了10个Python面试官经常问的问题,供大家参考学习。一、类继承问题:有

系统 2019-09-27 17:53:50 1817

Python

Python3环境安装Scrapy爬虫框架过程及常见错误

Windows•安装lxml最好的安装方式是通过wheel文件来安装,http://www.lfd.uci.edu/~gohlke/pythonlibs/,从该网站找到lxml的相关文件。假如是Python3.5版本,WIndows64位系统,那就找到lxml‑3.7.2‑cp35‑cp35m‑win_amd64.whl这个文件并下载,然后通过pip安装。下载之后,运行如下命令安装:pip3installwheelpip3installlxml‑3.7.2

系统 2019-09-27 17:53:34 1817

Python

python 气象设备UDP传输数据解析——笔记

文章目录一、背景二、总结内容2.1UDP通信服务端创建方式**DUP采用的是无连接的套接字**2.216进制数据解析2.3文件创建与数据储存分析一、背景最近在处理公司的一设备,内置的DTU通过UDP向服务器发送16进制的数据报文,由于第一次接触此类数据解析方式,在这里做总结与反省,避免大家走弯路二、总结内容2.1UDP通信服务端创建方式步骤创建UDP的socket通信方式。绑定具体的端口。设置端口复用等待(这一步可以省略)获取数据。向客户端发送数据。解析储

系统 2019-09-27 17:53:08 1817

Python

python求职准备第1天—进程

进程是操作系统分配内存的最小单位Python中进程用到的库multiprocessing简单的多进程示例frommultiprocessingimportProcessfromtimeimporttime,sleepfromrandomimportrandintdefdownload_task(task_name):print(task_name+'开始下载')time=randint(1,5)sleep(time)print(task_name+f'下载

系统 2019-09-27 17:53:03 1817

Python

Python 字符编码处理总结

Python中经常遇到这样那样的字符编码问题,尤其在处理网页源码时(特别是爬虫中):UnicodeDecodeError:‘XXX'codeccan'tdecodebytesinposition12-15:illegalmultibyte...每次看到上面这段文字的时候,感觉整个世界都昏暗了,然后就只能各种搜索找资料,过后就忘了。下次遇到时就让世界再昏暗一次。为了彻底解决这个拦路虎,今天咱们就好好的来唠嗑唠嗑。下面以汉字'哈'来解释作示例解释所有的问题,汉

系统 2019-09-27 17:53:00 1817

Python

Python的批量远程管理和部署工具Fabric用法实例

本文实例讲述了Python的批量远程管理和部署工具Fabric用法。分享给大家供大家参考。具体如下:Fabric是Python中一个非常强大的批量远程管理和部署工具,常用于在多个远程PC上批量执行SSH任务.常见的使用方法大概总结如下:1.首先,要将批量执行的任务写入到一个fabfile.py中,复制代码代码如下:#-*-coding:utf-8-*-fromfabric.apiimportrun,local,roles,env,cdenv.hosts=[

系统 2019-09-27 17:52:48 1817