爬虫成果当你运行代码后,文件夹就会越来越多,如果爬完的话会有2000多个文件夹,20000多张图片。不过会很耗时间,可以在最后的代码设置爬取页码范围。本文目标熟悉Requests库,BeautifulSoup库熟悉多线程爬取送福利,妹子图网站结构我们从http://meizitu.com/a/more_1.html这个链接进去,界面如图一所示图一:可以看到是一组一组的套图,点击任何一组图片会进入到详情界面,如图二所示图二:可以看到图片是依次排开的,一般会有
系统 2019-09-27 17:51:31 2118
需要用到的库:操作xls格式的表格文件:读取:xlrd写入:xlwt修改(追加写入):xlutils操作Excel文件的实用工具,如复制、分割、筛选等操作xlsx格式的表格文件:读取/写入:openpyxl新建,写入内容,保存。#coding=utf-8importxlwtimportxlrdtry:#创建excel文件filename=xlwt.Workbook()#给工作表命名,testsheet=filename.add_sheet("test")#
系统 2019-09-27 17:51:19 2118
前言到毕业季了,博主要寄行李,校园里很多快递提出了自己优惠的服务,如何选择最便宜的快递服务呢?思路使用python中matplotlib工具直接绘图,直观看出哪家快递更适合自己代码importmathimportnumpyasnpimportmatplotlib.pyplotaspltdefsunfeng(x):#分段函数低于40斤均为30元高出部分使用0.9元/斤money=[]forx_numinx:#这里注意一下由于x是list,因此需要循环,而py
系统 2019-09-27 17:49:37 2118
在读取https://github.com/Embedding/Chinese-Word-Vectors中的中文词向量时,选择了一个有3G多的txt文件,之前在做词向量时用的是word2vec,所以直接导入模型然后indexword即可。因为这是一个txt大文件,尝试了DataFrame,np.loadtxt等,都没有成功,其中主要遇到的问题是:如何读取完整的大文件,而不会出现内存不足memeryerror等问题将读取出来的文件,保存为npy文件根据词找到
系统 2019-09-27 17:47:39 2118
操作数据库时候难免会因为“大意”而误操作,需要快速恢复的话通过备份来恢复是不太可能的,因为需要还原和binlog差来恢复,等不了,很费时。这里先说明下因为Delete操作的恢复方法:主要还是通过binlog来进行恢复,前提是binlog_format必须是Row格式,否则只能通过备份来恢复数据了。方法:条件:开启Binlog,Format为Row。步骤:1.通过MySQL自带工具mysqlbinlog指定导出操作的记录:mysqlbinlog--no-de
系统 2019-09-27 17:38:36 2118
高效存储技术研究1引言物质、能量和信息是自然科学研究的三个基本对象,处理、传输和存储是信息计算的三大基本任务。随着信息化技术水平的不断提高,数据已经取代计算成为了信息计算的中心,数据将成为企业最终有价值的财富。1998年图灵奖获得者JimGray曾断言:现在每18个月新增的存储量等于有史以来存储量之和。根据预测,2020年数据宇宙将达到35.2ZB(1ZB=1百万PB),比2009的0.8ZB增加44倍。在如此强大的实际需求推动下,人们不断追求海量存储容量
系统 2019-08-29 23:13:50 2118
使用javascript进行跳转functiondoUpdata(id){document.location.href="change.do?id="+id;}发现不能利用form传值,只能传一个值,对于表单无法操作只有使用才能取到form中的值如果是中间有两个页面,第一个页面只有一个参数,就用上面的js就可以了,而对于第二个页面,进行传递的时候,在第二个页面中要使用大form,所以就不能用到js传值,通过<%S
系统 2019-08-29 22:58:05 2118
欢迎使用RSS订阅本Blog
系统 2019-08-29 22:47:09 2118
今天打算模拟一个JSTL表达式出现的一个问题,结果想实现一种效果——先执行servlet之后再跳转到JSP页面下面我简单介绍一下我实现的方式,使用的是——过滤器过滤器:是可插入的web组件,拦截请求和响应,可以对请求和响应进行过滤(是在中间件中的东西tomcat\weblogic)1、在web.xml中添加如下配置信息filterTest
系统 2019-08-29 22:11:09 2118
我偶然在google或yahoo这样的搜索引擎搜索GRASP发现,除了国外的网站,国内网站多介绍和讨论GoF而很少介绍GRASP,即使这少量的文章也讲解非常粗略。个人认为作为优秀的开发人员,理解GRASP比GoF更重要,故写此文章。前面我在《(原创)一个优秀软件开发人员的必修课:GRASP软件开发模式浅析》中介绍了使用GRASP的目的,今天允许我调换一下顺序,先从低耦合讲起,因为诸如创建者模式、信息专家模式的根本目的就是降低耦合。1.低耦合(LowCoup
系统 2019-08-29 21:58:58 2118