利用flask自带的werkzeug模块实现#监控脚本#首先需要pipinstallflask#pymonitor.pydefrun_with_reloader(main_func,args=(),kwargs=None,extra_files=None,interval=1,reloader_type='auto'):"""Runthegivenfunctioninanindependentpythoninterpreter."""importosimp
系统 2019-09-27 17:57:12 2099
AllITeBooks多线程爬取-写在前面对一个爬虫爱好者来说，或多或少都有这么一点点的收集癖~发现好的图片，发现好的书籍，发现各种能存放在电脑上的东西，都喜欢把它批量的爬取下来。然后放着，是的，就这么放着.......然后慢慢的遗忘掉.....AllITeBooks多线程爬取-爬虫分析打开网址http://www.allitebooks.com/发现特别清晰的小页面，一看就好爬在点击一本图书进入，发现下载的小链接也很明显的展示在了我们面前，小激动一把，这
系统 2019-09-27 17:56:53 2099
创建爬虫目录：scrapystartprojectspiderName调试命令scrapyshell网站名调试命令可直接进行css和xpath的调试；成功执行命令之后可使用：response.xpath(xpath表达式)获取所需的内容。xpath说明：XPath是一门在XML文档中查找信息的语言表达式描述实例nodename选取nodename节点的所有子节点//div/从根节点选取/div//不考虑位置选择节点//div.选取当前节点./div…选取当
系统 2019-09-27 17:56:45 2099
一个简单的实现classNaiveFilter():'''FilterMessagesfromkeywordsverysimplefilterimplementation>>>f=NaiveFilter()>>>f.add("sexy")>>>f.filter("hellosexybaby")hello****baby'''def__init__(self):self.keywords=set([])defparse(self,path):forkeywo
系统 2019-09-27 17:56:10 2099
锁在使用用的过程中需要导入threading模块的Lock类使用锁：当多个线程几乎同时修改某一个共享数据的时候，需要进行同步控制线程同步能够保证多个线程安全访问竞争资源，最简单的同步机制是引入互斥锁。互斥锁为资源引入一个状态：锁定/非锁定。锁的语法创建锁、锁定锁、释放锁fromthreadingimportLock#创建锁mutex=Lock()#获取锁（上锁）mutex.acquire()#释放锁（解锁）mutex.release()在锁定锁的过程中ac
系统 2019-09-27 17:55:04 2099
前面十章爬虫笔记陆陆续续记录了一些简单的Python爬虫知识，用来解决简单的贴吧下载，绩点运算自然不在话下。不过要想批量下载大量的内容，比如知乎的所有的问答，那便显得游刃不有余了点。于是乎，爬虫框架Scrapy就这样出场了！Scrapy=Scrach+Python，Scrach这个单词是抓取的意思，Scrapy的官网地址：点我点我。那么下面来简单的演示一下Scrapy的安装流程。具体流程参照：//www.jb51.net/article/48607.htm
系统 2019-09-27 17:54:46 2099
认识错误编写的程序不能正常执行，或者执行的结果不是我们期望的，俗称BUG，是程序员在开发时非常常见的，初学者常见错误的原因包括：手误对已经学习过的知识理解还存在不足对语言还有需要学习和提升的内容在学习语言时，不仅要学会语言的语法，而且还要学会如何认识错误和解决错误的方法每一个程序员都是在不断地修改错误中成长的常见错误：1>手误2>将多条print写在一行每行代码负责完成一个动作3>缩进错误Python是一个格式非常严格的程序设计语言4>python2.x默
系统 2019-09-27 17:54:37 2099
什么是可变/不可变对象不可变对象，该对象所指向的内存中的值不能被改变。当改变某个变量时候，由于其所指的值不能被改变，相当于把原来的值复制一份后再改变，这会开辟一个新的地址，变量再指向这个新的地址。可变对象，该对象所指向的内存中的值可以被改变。变量（准确的说是引用）改变后，实际上是其所指的值直接发生改变，并没有发生复制行为，也没有开辟新的出地址，通俗点说就是原地改变。Python中，数值类型（int和float）、字符串str、元组tuple都是不可变类型。
系统 2019-09-27 17:54:37 2099
上面我们学习了RDD如何转换，即一个RDD转换成另外一个RDD，但是转换完成之后并没有立刻执行，仅仅是记住了数据集的逻辑操作，只有当执行了Action动作之后才会真正触发Spark作业，进行算子的计算执行操作有：reduce(func)collect()count()first()take(n)takeSample(withReplacement,num,[seed])takeOrdered(n,[ordering])saveAsTextFile(path
系统 2019-09-27 17:52:33 2099
工厂模式，类似实际的制造车间中，根据订单的需求来生成/创建某个实例。1.应用场景：需要创建的实例不确定，由输入的数据决定；2.实现方法：实现一个独立的类，接收传入的需要创建实例的名称，在该类中实现创建某个具体实例。3.代码：#coding:utf-8classPerson(object):def__init__(self):self.name=Noneself.gender=NonedefgetName(self):returnself.namedefge
系统 2019-09-27 17:52:30 2099
