搜索到与相关的文章
Python

Python爬虫初体验(2):多线程的应用及爬取中的实际问题

前情提要:Python爬虫初体验(1):利用requests和bs4提取网站漫画前几天有些放松懈怠,并没有做多少事情……这几天要加油了!7月的计划要抓紧时间完成!今天疯狂肝这个程序,算是暑假睡得最晚的一天了……(不过程序仍然有问题)好的废话不多说,进入正题总结了下上次的爬虫体验。虽然能保证稳定下载,但是下载50张XKCD漫画花费的时间达到了将近10分钟,效率比较低。所以这次学习了多线程,以求达到较快下载完全部2000余张漫画的目标。(另外配合V姓网络加速工

系统 2019-09-27 17:55:07 2431

Python

python 实现多进程

方法一:fromurllibimportrequestfrommultiprocessingimportProcessimportos#下载器函数defdownloader(url,**kwargs):print('当前进程id:',os.getpid(),os.getppid())#os.getpid()获取当前进程id,os.getppid()获取当前进程父进程idprint('关键字参数:',kwargs['pro'])#文件名file_name=u

系统 2019-09-27 17:53:32 2431

Python

python爬虫--爬取代码实例(xpath)

Python爬取拉勾网实例#-*-.coding:utf-8-*-#__author__='xiaobai'#Email:517840374@qq.comimporttimeimportrefromselenium.webdriverimportChrome#导入浏览器的包fromselenium.webdriver.common.keysimportKeysn=1#创建浏览器web=Chrome()#打开浏览器,请求到拉钩web.get("https:/

系统 2019-09-27 17:53:26 2431

Python

Python pickle模块--文件的序列化与反序列化

python的pickle模块实现了基本的数据序列和反序列化。通过pickle模块的序列化操作我们能够将程序中运行的对象信息保存到文件中去,永久存储。通过pickle模块的反序列化操作,我们能够从文件中创建上一次程序保存的对象。importpickleList=[[5,1.1,'yes'],[0.9,15,'no']]Dic={0:[1,2,3,4],1:('a','b'),2:{'c':'yes','d':'no'}}fw=open('1.txt','w

系统 2019-09-27 17:49:24 2431

Python

Python计算三角函数之asin()方法的使用

asin()方法返回x的反正弦,以弧度表示。语法以下是asin()方法语法:asin(x)注意:此函数是无法直接访问的,所以我们需要导入math模块,然后需要用math的静态对象来调用这个函数。参数x--这必须是在-1到1的数字值的范围内,如果x大于1,则它会产生一个错误。返回值此方法返回的x反正弦,以弧度表示。例子下面的例子显示了asin()方法的使用。#!/usr/bin/pythonimportmathprint"asin(0.64):",math.

系统 2019-09-27 17:47:32 2431

Python

python发送多人邮件没有展示收件人问题的解决方法

背景:工作过程中需要对现有的机器、服务做监控,当服务出现问题后,邮件通知对应的人问题:使用python2.7自带的email库来进行邮件的发送,但是发送后没有展示收件人列表内容问题代码示例:#-*-coding:utf-8-*-importsmtplibfromemail.mime.multipartimportMIMEMultipartfromemail.mime.textimportMIMETextdefsend_email_to(fromAdd,to

系统 2019-09-27 17:46:44 2431

Android

【Android 开发教程】AbsoluteLayout绝对布局

本章节翻译自《Beginning-Android-4-Application-Development》,如有翻译不当的地方,敬请指出。原书购买地址http://www.amazon.com/Beginning-Android-4-Application-Development/dp/1118199545/使用AbsoluteLayout,可以指定它其中的子View的确切位置。观察如下main.xml中的代码:[html]viewplaincopy

系统 2019-08-29 23:44:25 2431

Java

Java内存分配管理

http://java-mzd.iteye.com/blog/848635P.S.想写这篇总结酝酿了有个来月了,却始终感觉还差点什么东西,一直未敢动笔。最近两天连夜奋战,重新整理下前面查阅的资料、笔记,还是决定将它写出来。现在提出几个问题,如果都能熟练回答的大虾,请您飘过.如以往一样,我是小菜,本文自然也是针对小菜阶层的总结。首先是概念层面的几个问题:Java中运行时内存结构有哪几种?Java中为什么要设计堆栈分离?Java多线程中是如何实现数据共享的?J

系统 2019-08-29 23:37:25 2431

编程技术

中国十大城市美女(经典套图)

NO.1大连美女豪放婉约漂亮指数:95东北女子向来以白面长身著称。大连美眉则无疑集东北女性的精华于一身。与江南女子相比,大连美眉也许婉约不够,但却多了一份豪气;与东北的其他内陆城市女人相比,大连美眉身上又多了一些清丽和雅致。记者打望:《幸福时光》、《金粉世家》、《白领公寓》等影视作品中的那个如天使般的女生董洁就是大连女孩子的典型代表。最近一次见到董洁是在上海电影节上,她穿着设计简单的牛仔裤,挎着一个大包,特别干练。NO.2重庆美女热情似火漂亮指数:94大约

系统 2019-08-29 23:23:42 2431