接下来准备用糗百做一个爬虫的小例子。但是在这之前，先详细的整理一下Python中的正则表达式的相关内容。正则表达式在Python爬虫中的作用就像是老师点名时用的花名册一样，是必不可少的神兵利器。一、正则表达式基础1.1.概念介绍正则表达式是用于处理字符串的强大工具，它并不是Python的一部分。其他编程语言中也有正则表达式的概念，区别只在于不同的编程语言实现支持的语法数量不同。它拥有自己独特的语法以及一个独立的处理引擎，在提供了正则表达式的语言里，正则表达
系统 2019-09-27 17:54:47 2086
类属性和实例属性首先来看看类属性和类实例的属性在python中如何存储，通过__dir__方法来查看对象的属性>>>classTest(object):pass>>>test=Test()#查看类属性>>>dir(Test)['__class__','__delattr__','__dict__','__doc__','__format__','__getattribute__','__hash__','__init__','__module__','__
系统 2019-09-27 17:54:39 2086
1.作用将类方法转换为类属性，可以用.直接获取属性值或者对属性进行赋值2.实现方式使用property类来实现，也可以使用property装饰器实现，二者本质是一样的。多数情况下用装饰器实现。classStudent(object):@propertydefscore(self):returnself._score@score.setterdefscore(self,value):ifnotisinstance(value,int):raiseValueE
系统 2019-09-27 17:54:11 2086
是什么：首先，Python装饰器的作用是：让被装饰的函数在不需要任何变化的情况下，增加额外的功能。为什么：为什么要用装饰器呢，直接增加功能不就行了？因为有的程序已经上线或已经被使用，那么就不能大批量的修改源代码，于是就产生了装饰器。怎么装饰：预备知识：函数名和函数的区别，即带括号和不带括号的区别1.test1表示的是函数的内存地址。可以理解为一个指向某块内存的标签。2.test1()就是调用对在test1这个地址的内容，即函数。3.再通俗的比喻，test1
系统 2019-09-27 17:52:54 2086
requests库的安装：ubuntu和windows下安装requests库：pipinstallrequestsrequests的介绍：Requests是一个优雅而简单的PythonHTTP库requests的文档：中文版：http://cn.python-requests.org/zh_CN/latest/英文版：http://docs.python-requests.org/en/master/api/requests的基本用法：Get请求：(一)
系统 2019-09-27 17:52:36 2086
点击上方“码农突围”，马上关注，每天早上8:50准时推送真爱，请置顶或星标摘要：分享个Python神工具。长时间使用浏览器会积累大量浏览器历史记录，这些是很隐私的数据，里面甚至可能有一些不可描述的网站或者搜索记录不想让别人知道。不过，我们自己可能会感兴趣，天天都在上网，想知道长期下来是都在摸鱼还是有认真工作。其次，了解下自己每天打开多少次网页、哪些网站上的最多、常搜哪些关键词，这些也很有趣。下面就来给大家介绍一款Python编写的神工具，可以一键分析你的上
系统 2019-09-27 17:51:41 2086
今天主要是来说一下怎么可视化来监控你的爬虫的状态。相信大家在跑爬虫的过程中，也会好奇自己养的爬虫一分钟可以爬多少页面，多大的数据量，当然查询的方式多种多样。今天我来讲一种可视化的方法。关于爬虫数据在mongodb里的版本我写了一个可以热更新配置的版本，即添加了新的爬虫配置以后，不用重启程序，即可获取刚刚添加的爬虫的状态数据。1.成品图这个是监控服务器网速的最后成果，显示的是下载与上传的网速，单位为M。爬虫的原理都是一样的，只不过将数据存到InfluxDB的
系统 2019-09-27 17:50:52 2086
1.函数名的运用你们说一下，按照你们的理解，函数名是什么？函数名的定义和变量的定义几乎一致，在变量的角度，函数名其实就是一个变量，具有变量的功能：可以赋值；但是作为函数名他也有特殊的功能就是加上()就会执行对应的函数，所以我们可以把函数名当做一个特殊的变量，那么接下来，我们就来研究一下这个特殊的变量。1.1函数的内存地址deffunc():print("呵呵")print(func)结果:通过上面代码可以我们知道，函数名指向的是这个函数的内存地址，其
系统 2019-09-27 17:50:42 2086
最简单的网页取源（不用模拟浏览器的情况）1importrequests2defgetHTML(url):3try:4r=requests.get(url,timeout=30)5r.raise_for_status()6r.encoding='utf-8'7returnr.text8except:9return""10url="http://baidu.com"11print(getHTML(url))
系统 2019-09-27 17:50:19 2086
我的Python学习之旅panzervipanzervi一个打赌必输，但却选择交易为职业的赌棍上个月，公司招了几位Python程序猿。在他们的宣传鼓舞下，我觉得，为了将来不落伍，有必要学习一下这门技能。能写爬虫，能数据分析，能写前端，还能写机器学习。这玩意这么强大！看来，我这一直是人工半量化的主，如果学会Python应该就能完全机器自动交易了。就先把这个定为一个小目标吧。遂于11月份开始准备学习。新来的小伙子很热情，推荐了两个网站学习基础知识：一个是“廖雪
系统 2019-09-27 17:50:03 2086
