搜索到与相关的文章
Python

python爬虫学习之爬取某图片网站

0x00:使用xpath进行网页解析#coding:utf-8importrequestsimportosimportrefromlxmlimportetreeimporttimedefget_title(title):#获取标题,创建文件path=r"./Pic/"+titleifos.path.exists(path):#文件夹存在,返回returnpathelse:os.makedirs(path)#创建空文件夹returnpathdefpic_ge

系统 2019-09-27 17:48:14 2036

Python

Python使用稀疏矩阵节省内存实例

推荐系统中经常需要处理类似user_id,item_id,rating这样的数据,其实就是数学里面的稀疏矩阵,scipy中提供了sparse模块来解决这个问题,但scipy.sparse有很多问题不太合用:1、不能很好的同时支持data[i,...]、data[...,j]、data[i,j]快速切片;2、由于数据保存在内存中,不能很好的支持海量数据处理。要支持data[i,...]、data[...,j]的快速切片,需要i或者j的数据集中存储;同时,为了

系统 2019-09-27 17:48:09 2036

Python

python 自定义装饰器实例详解

本文实例讲述了python自定义装饰器。分享给大家供大家参考,具体如下:先看一个例子defdeco(func):print("beforemyfunc()called.")func()print("aftermyfunc()called.")returnfunc@decodefmyfunc():print("myfunc()called.")#myfunc=deco(myfunc)#与上面的@deco等价myfunc()print("***********

系统 2019-09-27 17:47:58 2036

Python

python爬虫获取网站数据

要爬取的网站不需要登陆,没有反爬机制,操作很简单首先安装需要的程序包pipinstallrequestspipinstallbeautifulsoup4pipinstallxlwt具体的实现类GetInfo.py#信息实体类classproduct_info(object):serios=''#存放商品系列productActualPrice=''#存放商品成交价productOldPrice=''#存放商品面价detailString=''#存放商品详情

系统 2019-09-27 17:47:27 2036

Python

使用python编写android截屏脚本双击运行即可

测试的过程中经常需要截取屏幕,通常的做法是使用手机自带的截屏功能,然后将截屏文件复制出来,这种方法的优点是不需要连接数据线就可截屏,缺点则是生成的截屏文件命名是随机命名的,复制出来也比较麻烦。另一种方法是使用PC端的手机助手类软件。这里使用python编写一个截屏的脚本,双击运行脚本就OK,截屏成功后会将截屏文件已当前时间命名,并保存在存放脚本的当前路径的screenshot文件夹下:#!/usr/bin/envpythonimportosimportti

系统 2019-09-27 17:47:18 2036

Python

叶炜 Python第六次作业:随笔

这学期学校开设了Python课程,并且采用了与以往不同的教学方式。以前上C语言和Java语言课程时,我们要么是在教室里上课,要么在机房里上课。教学方式比较固定,也没有想到会有什么样的变化。但这学期不一样,这学期的Python课程与其他的课程在教学方式上发生了很大的变化,这学期的Python课程不再局限于传统的上课方式,还用到了网络,在上课时不再是一味地听老师讲,老师在讲课的同时,我们学生在下面可以同时练习,遇到不懂的话,也可以及时的反应。我觉得这种方式挺好

系统 2019-09-27 17:46:58 2036

Python

python的set处理二维数组转一维数组的方法示例

forsplitValueinset(dataset[:,featureIndex].tolist()):首先set是一个无序,无重复的数据结构,所以很多时候使用它来进行去重;但是set接收的函数是原生array,这个怎么办?我现在有的numpy里面的matrix;于是我查了一下,直接使用matrix.tolist(),但是发现返回值有问题:importosos.chdir("D:\\galaxy\\aliyunsvn\\code\\MLInAction\

系统 2019-09-27 17:46:43 2036

Python

6.Python装饰器

1.开放封闭原则​什么是开放封闭原则?有的同学问开放,封闭这是两个反义词这还能组成一个原则么?这不前后矛盾么?其实不矛盾。开放封闭原则是分情况讨论的。​我们的软件一旦上线之后(比如你的软件主要是多个函数组成的),那么这个软件对功能的扩展应该是开放的,比如你的游戏一直在迭代更新,推出新的玩法,新功能。但是对于源代码的修改是封闭的。你就拿函数举例,如果你的游戏源代码中有一个函数是闪躲的功能,那么你这个函数肯定是被多个地方调用的,比如对方扔雷,对方开枪,对方用刀

系统 2019-09-27 17:45:53 2036

Python

CentOS配置python操作

centos7.3安装python查看当前python情况[root@localhost/]#cd/[root@localhostbin]#cd/usr/bin[root@localhostbin]#lspython*pythonpython2python2.7[root@localhostbin]#ls-alpython*修改软连接[root@localhostbin]#mvpythonpython.bak开始做下载准备[root@localhostbi

系统 2019-09-27 17:45:46 2036

Python

Phantomjs抓取渲染JS后的网页(Python代码)

最近需要爬取某网站,无奈页面都是JS渲染后生成的,普通的爬虫框架搞不定,于是想到用Phantomjs搭一个代理。Python调用Phantomjs貌似没有现成的第三方库(如果有,请告知小编),漫步了一圈,发现只有pyspider提供了现成的方案。简单试用了一下,感觉pyspider更像一个为新手打造的爬虫工具,好比一个老妈子,有时无微不至,有时喋喋不休。轻巧的小工具应该更受人喜爱,我也怀着一点私心,可以带着我最爱的BeautifulSoup一块儿用,而不用

系统 2019-09-27 17:38:44 2036