爬虫的概念:爬虫就是获取网页并提取和保存信息的自动化程序爬虫的分类:主要有四类:通用网络爬虫,聚焦网络爬虫,增量式网络爬虫,深层网络爬虫爬虫的流程:常见的几种爬虫问题:主要有五类:静态网页的爬取,Ajax数据的爬取,动态渲染页面爬取,验证码的识别,代理的使用常见的爬虫框架:pyspider框架,Scrapy框架分布式爬虫:在多台机器上运行爬虫程序爬虫的一些常用"库":解析库:lxml;BeautifulSoup;pyquery;tesserocr请求库:r
系统 2019-09-27 17:56:05 2052
文件的属性所谓属性,就是能够通过一个文件对象得到的东西。复制代码代码如下:>>>f=open("131.txt","a")>>>f.name'131.txt'>>>f.mode#显示当前文件打开的模式'a'>>>f.closed#文件是否关闭,如果关闭,返回True;如果打开,返回FalseFalse>>>f.close()#关闭文件的内置函数>>>f.closedTrue文件的有关状态很多时候,我们需要获取一个文件的有关状态(有时候成为属性,但是这里的文
系统 2019-09-27 17:56:05 2052
在帮朋友解决这个问题后,随便记录一下这三种方法:第一种方法:使用正则表达式:因为当时的要求是判定10.0.0.1到10.255.255.255,原理其实是一样。这里简单回顾一下正则表达式模式的内容:常见的如:\d可以表示0~9的任意一个数字字符而\D是匹配一个非数字字符等价于^^是匹配字符串的开头,但放在[]中表示匹配不在[]中的字符$是匹配字符串的末尾.是匹配除了换行符任意字符{}表示重复几次,例如:^a{2,4}$aa,aaa或aaaa|的是或的意思[
系统 2019-09-27 17:55:59 2052
这篇文章将解除你使用python的pipinstallxxx受到的网速限制,如果只是下载较小的第三方库,可以尝试pip--default-timeout=100install-Uxxx。一、Windows找到python安装目录下的:\Lib\site-packages\pip\models\index.py文件,将PYPI的值改为你所需要的镜像源即可,例如改为豆瓣镜像源:#PyPI=Index('https://pypi.python.org/')PyP
系统 2019-09-27 17:55:57 2052
本文实例讲述了python3property装饰器实现原理与用法。分享给大家供大家参考,具体如下:学习python的同学,慢慢的都会接触到装饰器,装饰器在python里是功能强大的语法。装饰器配合python的魔法方法,能实现很多意想不到的功能。废话不多说,如果你已经掌握了闭包的原理,代码的逻辑还是可以看明白的,咱们直接进入正题。property的意义@property把一个类的getter方法变成属性,如果还有setter方法,就在setter方法前面加
系统 2019-09-27 17:55:44 2052
期末复习比较忙过段时间来专门写scrapy框架使用,今天介绍如何用python生成词云,虽然网上有很多词云生成工具,不过自己用python来写是不是更有成就感。今天要生成的是励志歌曲的词云,百度文库里面找了20来首,如《倔强》,海阔天空是,什么的大家熟悉的。所要用到的python库有jieba(一个中文分词库)、wordcould、matplotlib、PIL、numpy。首先我们要做的是读取歌词。我将歌词存在了文件目录下励志歌曲文本中。现在来读取他#en
系统 2019-09-27 17:54:39 2052
本文实例讲述了Python装饰器decorator用法。分享给大家供大家参考。具体分析如下:1.闭包(closure)闭包是Python所支持的一种特性,它让在非globalscope定义的函数可以引用其外围空间中的变量,这些外围空间中被引用的变量叫做这个函数的环境变量。环境变量和这个非全局函数一起构成了闭包。复制代码代码如下:defouter(x):y=[1,2,3]definner():printxprintyreturninnerx=5#这个x没有被
系统 2019-09-27 17:54:34 2052
Python游戏开发平台、脚本系统架构设计2.1开发平台2.1.1系统开发环境介绍当前程序是以python为编程语言,主要功能实现依赖于pygame模块,主要用到surface对象之间的位置变化,再利用事件监听让程序运行起来。运行中Surface对象的位置发生变化后,界面刷新,用户对鼠标与键盘进行操作时,监听操作完成相应事件。软件开发方式:①系统总体设计②系统详细设计③编码④测试系统运行环境:Windows7及更高版本;2.1.2数据库系统介绍MySQL是
系统 2019-09-27 17:54:30 2052
目录四、Python基础(1)四、Python基础(1)1.什么是变量?一种变化的量,量是记录世界上的状态,变指得是这些状态是会变化的。2.为什么有变量?因为计算机程序的运行就是一系列状态的变化。3.定义变量在Python中定义变量:name='magua'age=24gender='man'height=168weight=2504.变量的组成三部分:1.变量名:变量名用来引用变量值,但凡需要用变量值,都需要通过变量名。2.赋值符号:赋值3.变量值:存放
系统 2019-09-27 17:54:30 2052
每天都有小伙伴询问Python的书,哎呀,动力所致,书单来了。7本,涵盖范围蛮大的。Python热持续中,入门计算机首选语言。python游戏编程快速上手(斯维加特著)(点击,直接下载)本书可以帮助读者在轻松有趣的过程中,掌握Python游戏编程的基本技能。本书适合不同年龄和层次的Python编程初学者阅读。像计算机科学家一样思考Python(点击,直接下载)全书共19章和3个附录,详细介绍了Python语言编程的方方面面。《像计算机科学家一样思考Pyth
系统 2019-09-27 17:54:25 2052