Python

Python进阶之使用selenium爬取淘宝商品信息功能示例

本文实例讲述了Python进阶之使用selenium爬取淘宝商品信息功能。分享给大家供大家参考,具体如下:#encoding=utf-8__author__='Jonny'__location__='西安'__date__='2018-05-14''''需要的基本开发库文件:requests,pymongo,pyquery,selenium开发流程:搜索关键字:利用selenium驱动浏览器搜索关键字,得到查询后的商品列表分析页码并翻页:得到商品页码数,模

系统 2019-09-27 17:55:34 2165

Python

Python之字符串

在Python中字符串是不可变变量,对其进行切片及其中的元素复制都会报错>>>str="ThisisPython">>>str[0:3]="abc"Traceback(mostrecentcalllast):File"",line1,inTypeError:'str'objectdoesnotsupportitemassignment其常用的方法:split用法:str.split(sep=None,maxsplit=-1)将字符串划分为序列>>>env=

系统 2019-09-27 17:55:21 2165

Python

python实现各进制转换的总结大全

前言玩ctf经常遇到进制转换的问题,就正好做一个进制转换总结,分享出来供大家参考学习,下面来一起看看详细的介绍:字符串与十六进制转换例如百度ctf12月的第二场第一个misc666C61677B65633862326565302D336165392D346332312D613031322D3038616135666137626536377D比较简单的一种做法就是直接调用字符串的.decode('hex')解密即可,但如果不用这个函数你会怎么解呢?一种思路就

系统 2019-09-27 17:55:09 2165

Python

干货 | 收藏!16段代码入门Python循环语句

(图片付费下载于视觉中国)作者|李明江张良均周东平张尚佳,本文摘编自《Python3智能数据分析快速入门》来源|大数据(ID:hzdashuju)【导读】本文将重点讲述for语句和while语句。for语句属于遍历循环,while语句属于当型循环。除了两个循环语句外,还介绍了break、continue与pass三个用于控制循环结构中的程序流向的语句。在此基础之上,还介绍了列表推导式,这是一种特殊的循环语句。循环语句又称为重复结构,用于反复执行某一操作。面

系统 2019-09-27 17:55:09 2165

Python

LeetCode刷题笔记257:二叉树的所有路径(Python实现)

题目描述:给定一个二叉树,返回所有从根节点到叶子节点的路径。说明:叶子节点是指没有子节点的节点。示例:输入:1/\23\5输出:["1->2->5","1->3"]解释:所有根节点到叶子节点的路径为:1->2->5,1->3Solution:运用递归的思想,从根节点遍历二叉树,如果当前节点不是叶子节点,则将当前节点添加到路径最后并继续递归他的孩子节点。如果当前节点是叶子节点,那么将当前节点添加到路径最后,得到一条路径,并把当前这条路径添加到路径集合里。#D

系统 2019-09-27 17:54:25 2165

Python

基于Python对象引用、可变性和垃圾回收详解

变量不是盒子在示例所示的交互式控制台中,无法使用“变量是盒子”做解释。图说明了在Python中为什么不能使用盒子比喻,而便利贴则指出了变量的正确工作方式。变量a和b引用同一个列表,而不是那个列表的副本>>>a=[1,2,3]>>>b=a>>>a.append(4)>>>b[1,2,3,4]如果把变量想象为盒子,那么无法解释Python中的赋值;应该把变量视作便利贴,这样示例中的行为就好解释了注意:对引用式变量来说,说把变量分配给对象更合理,反过来说就有问题

系统 2019-09-27 17:53:57 2165

Python

Python小白丁笔记(13)------封装工具——类

例子:classFileTool:def__init__(self,filepath):self.filepath=filepathdefwrite_to_file(self,line):f=open(self.filepath,'a')f.write(line)f.close()defread_to_file(self):f=open(self.filepath,'r')lines=f.readlines()f.close()returnlines

系统 2019-09-27 17:53:57 2165

Python

python pandas生成时间列表

python生成一个日期列表首先导入pandasimportpandasaspddefget_date_list(begin_date,end_date):date_list=[x.strftime('%Y-%m-%d')forxinlist(pd.date_range(start=begin_date,end=end_date))]returndate_list###可以测试print(get_date_list('2018-06-01','2018-0

系统 2019-09-27 17:53:02 2165

Python

Python 求解最长回文子串

前言题目来源:记得一副有趣的对联:"雾锁山头山锁雾,天连水尾水连天",上联和下联都是回文的.当然类似的还有:"上海自来水水来自海上,山西悬空寺寺空悬西山".回文是什么意思?就是把内容反过来读也是和原来一样的,譬如abccba,xyzyx,这些都是回文的.然而我们更感兴趣的是在一个英文字符串L中,怎么找出最长的回文子串.例如L="caayyhheehhbbbhhjhhyyaac",那么它最长的回文子串是"hhbbbhh".这个任务看似简单,但是如果我告诉你L

系统 2019-09-27 17:52:40 2165

Python

Python Web框架Flask中使用百度云存储BCS实例

对于部署在百度应用引擎BAE上的项目,使用百度云存储BCS(BaiduCloudStorage)是不错的存储方案。百度云存储已有PythonSDK,对它进行简单封装后,就可以直接在Flask中使用了,项目代码见GitHub上Flask-BCS。使用示例代码:复制代码代码如下:fromflaskimportFlaskfromflask_bcsimportBCSBCS_HOST='BCSHOST'BCS_ACCESS_KEY='BCSAccessKey'BCS

系统 2019-09-27 17:52:25 2165

Python

Python实现数据可视化看如何监控你的爬虫状态【推荐】

今天主要是来说一下怎么可视化来监控你的爬虫的状态。相信大家在跑爬虫的过程中,也会好奇自己养的爬虫一分钟可以爬多少页面,多大的数据量,当然查询的方式多种多样。今天我来讲一种可视化的方法。关于爬虫数据在mongodb里的版本我写了一个可以热更新配置的版本,即添加了新的爬虫配置以后,不用重启程序,即可获取刚刚添加的爬虫的状态数据。1.成品图这个是监控服务器网速的最后成果,显示的是下载与上传的网速,单位为M。爬虫的原理都是一样的,只不过将数据存到InfluxDB的

系统 2019-09-27 17:50:52 2165

Python

python多线程简易版 - 线程池THREADPOOL及回调函数

threadpoolmakeRequests的原型如下defmakeRequests(callable_,args_list,callback=None,exc_callback=_handle_thread_exception),可以看出第一个参数是线程将要启动任务函数,第二个是要传个任务函数的参数列表,第三个是回调函数,可以用于收集任务结束后的结果或者环境清理args_list中每一项要么是一个单独的变量,要么是一个2个元素的元组,该元组第1项是位置参

系统 2019-09-27 17:49:19 2165

Python

Python中模块(Module)和包(Package)的区别详解

1.模块(Module)在计算机程序的开发过程中,随着程序代码越写越多,在一个文件里代码就会越来越长,越来越不容易维护。为了编写可维护的代码,我们把很多函数分组,分别放到不同的文件里,这样,每个文件包含的代码就相对较少,很多编程语言都采用这种组织代码的方式。在Python中,一个.py文件就称之为一个模块(Module)。使用模块有什么好处?最大的好处是大大提高了代码的可维护性。其次,编写代码不必从零开始。当一个模块编写完毕,就可以被其他地方引用。我们在编

系统 2019-09-27 17:49:11 2165

Python

Python psutil模块简单使用实例

安装很简单复制代码代码如下:pipinstallpsutil官网地址为:https://pythonhosted.org/psutil/(文档上有详细的api)github地址为:https://github.com/giampaolo/psutil/psutil比较好的地方,一个是跨平台,不需要切换平台的时候在重新开放了,另外一个好处的工具集中CPU,memory,disks,network,这些信息都可以获得到。可以用来做系统监控,性能分析,进程管理。

系统 2019-09-27 17:48:35 2165

Python

python及其解释器(学习笔记一)

1.初识python(python2.7)1)python既是面向过程的又可以是面向对象的。面向过程:代码由可以重用的函数构建;面向过程:代码由数据和功能组合成的对象构建。2)python是一种解释型语言,与java等编译型语言不同,在执行python程序的过程中无需编译器进行编译和链接,既在执行python代码时减少了编译环节,解释器会将源代码转换成字节码再翻译给计算机执行。3)python是一种交互式语言:在python的提示符>>>后面直接执行代码。

系统 2019-09-27 17:48:00 2165