起因:有一天突然想看本小说,在小说网站上不能下载,广告太多,便。。。思路:–分析网站的结构–爬取目录(获得章节名和链接)–多线程加载章节网页–正则匹配内容–保存生成错误日志–链接单个章节txt合并为一个#-*-coding:utf-8-*-"""CreatedonTueJul218:23:492019@author:24709"""importurllibimporturllib.requestimportmultiprocessingfrombs4imp
系统 2019-09-27 17:53:50 2365
旋转椭圆实例代码:importmatplotlib.pyplotaspltimportnumpyasnpfrommatplotlib.patchesimportEllipsedelta=45.0#degreesangles=np.arange(0,360+delta,delta)ells=[Ellipse((1,1),4,2,a)forainangles]a=plt.subplot(111,aspect='equal')foreinells:e.set_c
系统 2019-09-27 17:52:38 2365
字符串在Python中是最简单也是最常用的数据类型之一,在CPython中字符串的实现原理使用了一种叫做Intern(字符串驻留)的技术来提高字符串效率。究竟什么是intern机制,这种机制又是通过什么方式来提高字符串效率的呢?希望这篇文章能够抛砖引玉。先来看一段代码:>>>s3="hello!">>>s4="hello!">>>s3iss4False>>>id(s3)80325968L>>>id(s4)80326048Ls3和s4虽然值是一样的,但确确实
系统 2019-09-27 17:52:22 2365
常见的反爬机制及处理方式1、Headers反爬虫:Cookie、Referer、User-Agent解决方案:通过F12获取headers,传给requests.get()方法2、IP限制:网站根据IP地址访问频率进行反爬,短时间内进制IP访问解决方案:1、构造自己IP代理池,每次访问随机选择代理,经常更新代理池2、购买开放代理或私密代理IP3、降低爬取的速度3、User-Agent限制:类似于IP限制解决方案:构造自己的User-Agent池,每次访问随
系统 2019-09-27 17:51:32 2365
异常是指程序运行时遇到了非致命错误。python中有许多预定义的异常类型,不过如果你想定义自己的异常,也是完全可以的。如下代码自定义了一个最简单的异常,并使程序抛出了该异常:classMyException(Exception):passcondition=Falseifnotcondition:raiseMyException('条件不满足,抛出自定义异常!')可以看出,自定义的异常必须继承自Exception,这样就可以无需定义__init__方法而直
系统 2019-09-27 17:49:35 2365
在这篇文章中,我们会介绍如何用Python来搭建一个简单的推荐系统。本文使用的数据集是MovieLens数据集,该数据集由明尼苏达大学的Grouplens研究小组整理。它包含1,10和2亿个评级。Movielens还有一个网站,我们可以注册,撰写评论并获得电影推荐。接下来我们就开始实战演练。在这篇文章中,我们会使用Movielens构建一个基于item的简易的推荐系统。在开始前,第一件事就是导入pandas和numPy。importpandasaspdim
系统 2019-09-27 17:49:14 2365
目录一、multiprocess模块二、multiprocess.process模块三、process模块介绍3.1方法介绍3.2属性介绍3.3在windows中使用process模块的注意事项四、使用process模块创建进程4.1在Python中启动的第一个子进程4.2join方法4.3查看主进程和子进程的进程号4.4多个进程同时运行4.5多个进程同时运行,再谈join方法(1)4.6多个进程同时运行,再谈join方法(2)4.7通过继承Process
系统 2019-09-27 17:49:09 2365
没有基础该怎么学Python?学完后好不好找工作?Python是人工智能时代最佳的编程语言,凭借高可读性以及高开发效率的优势,Python受到各大开发者的欢迎,同时在运维领域也被大量运用到自动化运维场景中。且看小编的分析。入门简单是Python的主要特点,这让很多人纠结究竟是自学还是参加专业学习。事实上,这个问题很简单,你只需要关注两点:你有没有编程基础、你能不能确保学习效率。对于没有编程基础的人来说,他们连最基本的代码都不了解,完全摸不着头脑也找不到学习
系统 2019-09-27 17:49:01 2365
简介f-string,亦称为格式化字符串常量(formattedstringliterals),是Python3.6新引入的一种字符串格式化方法,该方法源于PEP498�CLiteralStringInterpolation,主要目的是使格式化字符串的操作更加简便。f-string在形式上是以f或F修饰符引领的字符串(f'xxx'或F'xxx'),以大括号{}标明被替换的字段;f-string在本质上并不是字符串常量,而是一个在运行时运算求值的表达式:Wh
系统 2019-09-27 17:48:41 2365
一、pytesseract介绍1、pytesseract说明pytesseract最新版本0.1.6,网址:https://pypi.python.org/pypi/pytesseractPython-tesseractisawrapperforgoogle'sTesseract-OCR(http://code.google.com/p/tesseract-ocr/).Itisalsousefulasastand-aloneinvocationscript
系统 2019-09-27 17:38:30 2365