- 军军小站|张军博客
搜索到与相关的文章
Python

Python多进程爬取人人单词数据

基于Pythonrequests的人人词典数据爬虫,爬取站点http://www.91dict.com爬取内容包含:单词、单词词性及翻译、单词发音、单词例句剧照、单词例句及翻译、单词例句发音总共数据:单词53189个,例句发音文件及图片文件共10G左右,20M带宽不到一个小时就能爬完,我测试是这样的。。。关于单词发音,可自行添加爬取爬取内容1爬取内容2例句发音例句剧照Python版本Python3+,建议Python3.6requirements.txtr

系统 2019-09-27 17:49:44 2123

Python

Python字典的基本使用

前言相比于列表,字典是更为灵活的一种数据结构。它能将相关信息关联起来,本文中我们一起来学习Python字典的基本用法,即如何添加、访问、修改和删除字典中的信息。1.最简单的字典在学习Python字典之前,我们一起来看一下字典到底是个什么玩意儿,这样有助于对其建立大体的印象,把抽象的概念具体化。举个例子,假如你正在帮助学校开发学生管理系统,需要保存单个学生的详细信息(学号、姓名、性别、年龄等),你会怎么做?这种问题随着我们学习Python的逐步深入,解决方法

系统 2019-09-27 17:49:40 2123

Python

python3 map函数和filter函数详解

map()函数可以对一个数据进行同等迭代操作。例如:deff(x):returnx*xr=map(f,[1,2,3,4,5,6,7,8,9])print(list(r))map函数传入的第一个参数就是函数本身,即f。第二个参数是要操作的数据map()作为高阶函数,事实上它把运算规则抽象了,因此,我们不但可以计算简单的f(x)=x2,还可以计算任意复杂的函数,比如,把这个list所有数字转为字符串:print(list(map(str,[1,2,3,4,5,

系统 2019-09-27 17:48:02 2123

Python

python基础

代码注释单行注释#多行注释'''多行注释'''#这是单行注释'''这是多行注释'''print函数用法print('hello','world',sep="#",end="!")sep表示多个值之间的间隔符,end表示以什么结尾print函数格式化%c格式化字符及其ASCII码%s格式化字符串%d格式化整数%u格式化无符号整型%o格式化无符号八进制数%x格式化无符号十六进制数%X格式化无符号十六进制数(大写)%f格式化浮点数字,可指定小数点后的精度%e用科

系统 2019-09-27 17:47:01 2123

Python

python爬取百度贴吧前1000页内容(requests库面向对象思想实现)

此程序以李毅吧为例子,以面向对象的设计思想实现爬取保存网页数据,暂时并未用到并发处理,以后有机会的话会加以改善首先去百度贴吧分析贴吧地址栏中url后的参数,找到分页对应的参数pn,贴吧名字对应的参数kw首先创建类,写好__init__方法,run方法,__init__方法里先可以直接写passrun方法里大概整理一下整体的思路构造url列表,因为要爬取1000页,每页需对应一个url遍历发送请求,获取响应保存将可封装的步骤封装到单独的方法,所以这里又增加了

系统 2019-09-27 17:46:58 2123

编程技术

最近地球有点闹心?!

最近地球有点闹心?!emilmatthew08/02/02祖国的情况大家都知道了吧,南方大部分地区遭遇了五十年未遇的雪灾冰冻天气。我所在的苏州也算是在灾区了,不过还行,出了出行有些困难外,其它的生活没什么大影响。不过,像其它的一些省,如湖南、贵州、安徽,损失可就大了。唉,谁叫我们是南方地区呢,不像北方,对防雪这一块比较有经验。现在是该下雪的地方不下,不该下雪的地方雪下个不停。听说四号五号还有雪,这春节还不知道怎么过呢。这雪是一直下,中国股票也继续跌,说实在

系统 2019-08-29 23:38:20 2123

编程技术

使用动态代理,提高工作效率

动态代理的一个最主要的应用场合就是实现AOP-截获方法调用,加入自己的预处理、后处理或Around处理。我在ESBasic.Emit中实现了对这些截获的支持。首先,介绍两个截获者://////IMethodInterceptor对方法进行截获并加入预处理和后处理。///publicinterfaceIMethodInterceptor{voidPreProcess(InterceptedMethodmethod);vo

系统 2019-08-29 23:20:37 2123

编程技术

office word 2010 设置标题,样式,编号

一、设置样式,编号,标题第一步:设置新的格式前最好先清除原来的格式,方法是选择要清除格式的内容,然后点击右键在“样式”下选择“清除格式”菜单。选择要设置为标题一格式的标题(图中红色标记),然后在“开始”-》“段落”标签中找到“多级列表”按钮(图中红色标记),点击该按钮出现全部多级列表框,在“列表库”中选择样式,如下图:第二步:设置同级标题很简单,选中刚才设置的标题一标题,然后点击“开始”-》“剪贴板”标签中的“格式刷”按钮,把其他为标题一格式的标题刷一遍,

系统 2019-08-29 22:53:49 2123

编程技术

Centos 安装配置 mrtg

一、安装基础软件包要安装MRTG软件包必须首先安装gcc,perl,gd,libpng,zlib,freetype等软件包测试服务器就少装三个。都放在ftp压缩包里了。服务器上可以用命令:rpm-qa|grepjpeg监测下装了没。装过就不用装了先装jgcc,perl,gd,libpng,zlib,freetype等再装gd-2.0.33.tar.gz这个。1.安装zlibtarzxvfzlib-1.2.2.tar.gzcdzlib-1.2.2./conf

系统 2019-08-29 22:37:38 2123

编程技术

整合spring遇到Error listenerStart的科学解决

严重:ErrorlistenerStart在运行web程序时,服务器报出ErrorlistenerStart的严重错误,导致页面无法正常访问或其他问题出现。这类问题通常都是因为在web.xml里面添加了Java代码org.springframework.web.context.ContextLoaderListener

系统 2019-08-29 22:24:54 2123