作者|喵叔责编|胡巍巍出品|CSDN（ID：CSDNnews）爬虫应用的广泛，例如搜索引擎、采集数据、广告过滤、数据分析等。当我们对少数网站内容进行爬取时写多个爬虫还是有可能的，但是对于需要爬取多个网站内容的项目来说是不可能编写多个爬虫的，这个时候我们就需要智能爬虫。智能爬虫目前有三种：1.基于网页内容的爬虫当网页含有大量需要提取的信息时，我们就需要用到基于网页内容的爬虫。该爬虫会将HTML视为文本并利用NLP技术进行处理。虽然说这种基于网页内容的爬虫可以
系统 2019-09-27 17:55:06 2306
装饰器这东西我看了一会儿才明白，在函数外面套了一层函数，感觉和java里的aop功能很像；写了2个装饰器日志的例子，第一个是不带参数的装饰器用法示例，功能相当于给函数包了层异常处理，第二个是带参数的装饰器用法示例，将日志输出到文件。```#coding=utf8importtracebackimportloggingfromlogging.handlersimportTimedRotatingFileHandlerdeflogger(func):defin
系统 2019-09-27 17:54:25 2306
转载自我自己的github博客——>半天钟的博客元编程相关博文的目录及链接这篇博文是元编程系列博文中的其中一篇、这个系列中其他博文的目录和连接见下：使用python特性管理实例属性浅析python属性描述符（上）浅析python属性描述符（下）python导入时与运行时python元编程之动态属性python元编程之类元编程Review在上一篇博文中、我们使用python特性（property）管理了实例属性，最大的好处是：在使用property装饰器后，
系统 2019-09-27 17:53:35 2306
为了应付某些情况，需要做17份记录。虽然不很重要，但是17份完全雷同也不很好。大体看了一下，此记录大致分为四段。于是决定每段提供四种选项，每段四选一，拼凑成四段文字，存成一个文件。文件名就叫“XX记录+日期”。应急的随手创作，使用了“文件操作”和“生成随机数”的功能。比较简陋。后期扩展可以考虑搭配个数据库。复制代码代码如下:#-*-coding:cp936-*-importrandomtitle='XXX周例会\n会议时间:'timelist=['6月6日
系统 2019-09-27 17:53:26 2306
通常在使用Spark算子函数，比如使用map()或者reduce函数我们向函数传入条件时，函数内部可以使用驱动程序中定义的变量，但是这样会使集群中所有任务都会得到变量新的副本，这些副本的更新不会传播回驱动程序，导致读写共享变量效率低下或者内存溢出，为了解决这个问题Spark提供了两种共享变量类型：广播变量和累加器广播变量：用来高效分发较大对象，只能在Driver定义，不能在Executor端定义，同时RDD不存储数据所以不能广播出去累加器：用来对信息进行聚
系统 2019-09-27 17:52:33 2306
#/usr/bin/env/python#coding=utf-8importsys,re,time,osmaxdata=50000#单位KBmemfilename='/tmp/newnetcardtransdata.txt'netcard='/proc/net/dev'defcheckfile(filename):ifos.path.isfile(filename):passelse:f=open(filename,'w')f.write('0')f.c
系统 2019-09-27 17:52:13 2306
测试时候类的调用是经常会用到的。简单看下类的调用使用的方法吧。来看例子：目录结构：我们现在要在do_class.py这个文件里调用class_learn.py里的类代码(do_class.py):#!/usr/bin/envpython3#coding=utf-8'''@Author:Jock'''fromall_python_learn.class_and_funcation.class_learnimport*b=Learn(1,2)b.get()pr
系统 2019-09-27 17:51:14 2306
函数是组织好的，可重复使用的，用来实现单一，或相关联功能的代码段。定义一个函数：def函数名（参数列表）:函数体#定义一个没有参数，没有函数体实现的函数；pass相当于占位符，使定义函数满足语法要求，或者是先定义一个函数名，后面再实现其功能deffunc():pass#定义一个add函数，参数为a,b，返回a+b的结果：defadd(a,b):returna+bprint(add(1,2))3return函数最终返回的内容，如果没有写return，则默认返
系统 2019-09-27 17:50:30 2306
目录基础部分shutil.copyfileobj(file1，file2)：shutil.copyfile(file1，file2)：其他shutil.copymode(file1，file2)：shutil.copystat(file1，file2)：shutil.copy(file1，file2)：shutil.copy2(file1，file2)：shutil.copytree(源目录，目标目录)：shutil.rmtree(目标目录)：shutil
系统 2019-09-27 17:49:33 2306
preface流式数据的监控，以下主要是从算法的呈现出发，提供一种python的实现思路其中：1.python是2.X版本2.提供两种实现思路，一是基于matplotlib的animation，一是基于matplotlib的ion话不多说，先了解大概的效果，如下：一、一点构思在做此流数据输出可视化前，一直在捣鼓nupic框架，其内部HTM算法主要是一种智能的异常检测算法，是目前AI框架中垂直领域下的一股清流，但由于其实现的例子对应的流数据展示并非我想要的，
系统 2019-09-27 17:49:22 2306
