搜索到与相关的文章
Python

Python爬虫初体验(2):多线程的应用及爬取中的实际问题

前情提要:Python爬虫初体验(1):利用requests和bs4提取网站漫画前几天有些放松懈怠,并没有做多少事情……这几天要加油了!7月的计划要抓紧时间完成!今天疯狂肝这个程序,算是暑假睡得最晚的一天了……(不过程序仍然有问题)好的废话不多说,进入正题总结了下上次的爬虫体验。虽然能保证稳定下载,但是下载50张XKCD漫画花费的时间达到了将近10分钟,效率比较低。所以这次学习了多线程,以求达到较快下载完全部2000余张漫画的目标。(另外配合V姓网络加速工

系统 2019-09-27 17:55:07 2516

Python

Python代码大全之数组快速存储到sqlite数据库(含代码)

下面代码可以直接用于将数组数据存储到数据库中第一步准备数据定义一下列名称para_name=[‘mkey’,‘uni_int’,‘pinyin’]提供一下数据para_list=[(‘中’,‘20013’,‘zhong’),(‘国’,‘22269’,‘zhong’)]将数据存储到sqlite数据库中dbname=‘pypinyin.db’tname=‘pypinyin_dict’para2db(dbname,tname,para_name,para_lis

系统 2019-09-27 17:54:48 2516

Python

对接qq邮箱的smtp协议,python发送邮件的例子

#visendmail.py#pythonsendmail.py运行即可importsmtplib#smtp服务器用的包fromemail.mime.textimportMIMEText#邮件用得包authEmail="xxx@qq.com"#开启smtp服务的邮箱authCode="xxx"#获取到的授权码http://service.mail.qq.com/cgi-bin/help?subtype=1&&id=28&&no=1001256toEmail

系统 2019-09-27 17:54:38 2516

Python

Python迭代器和生成器

·迭代器什么是迭代器:迭代器可以让我们访问集合的时候变得非常方便。之前我们通过for…in…来访问一个集合的时候,就是使用迭代器完成的。如果没有迭代器,那么我们只能通过while循环,每次循环的时候通过下标来访问了。可迭代对象:可以直接使用for循环遍历的对象,成为可迭代的对象,常见的可迭代对象有:list、tuple、dict、set、str以及生成器更加专业的判断一个对象是否是可迭代对象:这个对象有一个__iter__方法,并且这个方法会返回一个迭代器

系统 2019-09-27 17:54:21 2516

Python

Python3爬虫模拟新浪微博登录(2019-8-3)最新

目录Python3爬虫模拟新浪微博登录过程分析遇到的坑关于第一步,账号和密码加密登录请求post数据包装关于登录后如跳转到主页面其他模块执行结果Python3爬虫模拟新浪微博登录初学Python3小白一枚,若有错误请不吝赐教过程分析整个过程从填写数据到跳转到主页一共经历了七个步骤:1.在登陆前,输入账号结束,失去输入框焦点,浏览器会发送两个请求,分别请求了登陆前加密密码所需的servertime、nonce、pubkey(图中对应3)2.第二个ajax请求

系统 2019-09-27 17:51:23 2516

Python

Python3.6验证码随机生成

这里主要使用到的库是captcha库,下载的命令如下:pipinstallcaptcha验证码随机生成代码,(python版本:3.6captcha版本:0.3)fromcaptcha.imageimportImageCaptchaimportnumpyasnpimportmatplotlib.pyplotaspltfromPILimportImageimportrandom#CSDNauthor:智轩#链接:https://blog.csdn.net/b

系统 2019-09-27 17:50:10 2516

Python

raspberry install pandas with python

berrycondaberryconda是一款为树莓派定制基于condapython发行版的开源软件。我们可以使用它来实现类似Miniconda和Anaconda的功能。berryconda提供了python2.7的Berryconda2和python3.6的Berryconda3,同时还支持树莓派0123各个系列,我们可以根据自己的树莓派版本选择适合的版本安装即可。berryconda安装我所只用的是树莓派3B,需要的是Python3的环境,因此我选择了

系统 2019-09-27 17:48:24 2516

Python

python日期转化利器arrow实践

之前有关于时间数据处理相关的工作我大都是使用time或者是datetime模块来进行的,今天发现了一个非常好用的时间数据处理分析的模块arrow,能够很方便地完成一些时间计算等等,详细的内容就不多说了,我使用了一些arrow提供的功能,都满足了我工作中的需求,下面简单给出来一些实践例子,以及官方文档地址在这里。下面是具体的实践内容:#!usr/bin/envpython#encoding:utf-8from__future__importdivision'

系统 2019-09-27 17:48:16 2516

Python

Python3+Appium安装使用教程

一、安装我们知道selenium是桌面浏览器自动化操作工具(WebBrowserAutomation)appium是继承selenium自动化思想旨在使手机app操作也能自动化的工具(MobileAppAutomationMadeAwesome)。appium可以通过DesktopApp和npm两种方式安装。DesktopApp类似于seleniumIDE提供一个图形界面式操作工具;npm类似于selenium就只能使用命令行。如果对appium还不太熟悉

系统 2019-09-27 17:47:42 2516

编程技术

二级域名原理以及程序代码

二级域名原理以及程序代码TYPE:经典代码片段TIME:2002-7-30AUTHOR:扬子URL:N/AHIT:51DAYHIT:1WEEKHIT:1要达到二级名的效果,必须一下条件以及流程:1、必须有一个顶级域名,而且此域名必须做好泛解析并做好指向。2、必须有一台独立的服务器。泛解析的域名指向该服务器。3、在服务器上的IIS建一个空的主机头名的web站点。4、将默认的页面设置为你的二机解析程序(比如:freedns.asp)5、二级域名系列程序(包括申

系统 2019-08-29 23:29:35 2516