本文记录了笔者用Python爬取淘宝某商品的全过程,并对商品数据进行了挖掘与分析,最终得出结论。项目内容本案例选择>>商品类目:沙发;数量:共100页4400个商品;筛选条件:天猫、销量从高到低、价格500元以上。项目目的1.对商品标题进行文本分析词云可视化2.不同关键词word对应的sales的统计分析3.商品的价格分布情况分析4.商品的销量分布情况分析5.不同价格区间的商品的平均销量分布6.商品价格对销量的影响分析7.商品价格对销售额的影响分析8.不同
系统 2019-09-27 17:46:23 1800
今天想用python做个demo,含两个子图的动态gif,代码如下:importmatplotlib.pyplotaspltimportimageio,osimportmatplotlib#plt.ion()fig=plt.figure(0)ax1=plt.subplot(121)ax2=plt.subplot(122)ax1.set_title('input')ax2.set_title('GT')foriinrange(1000):img1=plt.i
系统 2019-09-27 17:46:22 1800
1.字典键-值对中,值元素的便捷创建增减主要是利用collections中的defaultdict普通复杂过程:pairs=[('a',1),('a',2),('b',2)]d={}forkey,valueinpairs:ifkeynotind:d[key]=[]d[key].append(value)或d={}#普通字典d.setdefault('a',[]).append(1)d.setdefault('a',[]).append(2)d.setdef
系统 2019-09-27 17:46:19 1800
方法在Python中是如何工作的方法就是一个函数,它作为一个类属性而存在,你可以用如下方式来声明、访问一个函数:>>>classPizza(object):...def__init__(self,size):...self.size=size...defget_size(self):...returnself.size...>>>Pizza.get_sizePython在告诉你,属性_get_size是类Pizza的一个未绑定方法。这是什么意思呢?很快我们
系统 2019-09-27 17:45:43 1800
实习期间,服务器的一位师兄让我帮忙整理一下服务器的log数据,最终我用Python实现了数据的提取并将其用Excel格式导出。下面是我Python实现的源码,可以自动遍历某一文件目录下的所有文本文件,并将总的数据导出到Excel文件中,导出为Excel格式这样就比较方便统计了。//实现将目录下所有文件格式为.txt的文件进行遍历统计,如果是别的格式直接将下面的.txt改为你所需要的格式后缀就可以了,比较方便。//过程就是先将所有的文件中的内容提取出来写入到
系统 2019-09-27 17:45:28 1800
前言因为有一些网站需要每日检查是否有问题,所以需要一个报警监控的机制,这个需要你指定你发送的邮箱和你接收的邮箱,就可以做到对网站自动监控了。这里用的是python3.5需要安装的插件:1、smtplib:发邮件需要用到2、pycurl:访问网站时会需要用到3、linecache:在读取txt网站清单时需要用到具体思路:python程序从txt里面批量读取到网站的信息,通过Curl.py模拟浏览器去访问网站,并且把访问的结果写入到以自己的网站名称-日期.tx
系统 2019-09-27 17:38:41 1800
myPhoneBook2.py#!/usr/bin/python#-*-coding:utf-8-*-importreclassPhoneBook(object):'''这是一个电话簿脚本。该脚本能够实现AddContact:添加联系人信息ShowContact:查找姓名显示联系人SaveContacts:存储联系人到TXT文档(存储格式――姓名:号码/号码)LoadContacts:从txt文档中载入联系人'''def__init__(self):sel
系统 2019-09-27 17:38:30 1800
Python的一个备份程序这是一个备份脚本。路径请自行更换。这是一个备份脚本,按照当前日期分目录,以时间作为文件名,并且可以在文件名加入备注信息.以zip方式作为压缩方式,有特殊需求可以更改.实例代码:#!/usr/bin/python#coding=utf-8#这是一个备份脚本,按照当前日期分目录,以时间作为文件名,并且可以在文件名加入备注信息.#以zip方式作为压缩方式,有特殊需求可以更改.importosimporttimesource=['/hom
系统 2019-09-27 17:38:29 1800
什么是twisted?twisted是一个用python语言写的事件驱动的网络框架,他支持很多种协议,包括UDP,TCP,TLS和其他应用层协议,比如HTTP,SMTP,NNTM,IRC,XMPP/Jabber。非常好的一点是twisted实现和很多应用层的协议,开发人员可以直接只用这些协议的实现。其实要修改Twisted的SSH服务器端实现非常简单。很多时候,开发人员需要实现protocol类。一个Twisted程序由reactor发起的主循环和一些回调
系统 2019-09-27 17:38:27 1800
Python数据类型之间的转换函数描述int(x[,base])将x转换为一个整数long(x[,base])将x转换为一个长整数float(x)将x转换到一个浮点数complex(real[,imag])创建一个复数str(x)将对象x转换为字符串repr(x)将对象x转换为表达式字符串eval(str)用来计算在字符串中的有效Python表达式,并返回一个对象tuple(s)将序列s转换为一个元组list(s)将序列s转换为一个列表set(s)转换为可
系统 2019-09-27 17:38:27 1800