Python单例模式的两种实现方法方法一importthreadingclassSingleton(object):__instance=None__lock=threading.Lock()#usedtosynchronizecodedef__init__(self):"disablethe__init__method"@staticmethoddefgetInstance():ifnotSingleton.__instance:Singleton.__
系统 2019-09-27 17:54:01 1809
Scrapy是一个开源的Python数据抓取框架，速度快，强大，而且使用简单。来看一个官网主页上的简单并完整的爬虫：虽然只有10行左右的代码，但是它的确是一个完整的爬虫服务：当执行scrapyrunspiderxxx.py命令的时候，Scrapy在项目里查找Spider(蜘蛛️)并通过爬虫引擎来执行它。首先从定义在start_urls里的URL开始发起请求，然后通过parse()方法处理响应。response参数就是返回的响应对象。在parse()方法中，
系统 2019-09-27 17:53:38 1809
解决Python抓HTML结构存入数据库转义报错问题首先需求是这样的，抓一些资讯（带有标准的html结构入库），然后研究了半天，各种手动转义，尝试了很多种方法都没有效的解决，下面是有效的最后转义的方案,下面这种入库是没有转义符号的，和原html是一样的，如果前台需要带转义符号需要手动替换一下newSql=db.escape(param)sql='INSERTINTOzhixun(htmls)VALUES({})'.format(newSql)数据库比较懒了
系统 2019-09-27 17:53:17 1809
这里爬取的是http://sc.chinaz.com/tag_tupian/OuMeiMeiNv.html网站献上欧美美女！！！！fromlxmlimportetreeimporturllib.request,os,timeclassOuMeiSpider(object):def__init__(self,start_page,end_page):self.start_page=start_pageself.end_page=end_pageself.fi
系统 2019-09-27 17:53:14 1809
原文链接：https://www.numpy.org.cn/本节内容：数组的创建数组操作（获取数组属性，数组运算，数组复制，数组展开等等）获取数组特定元素1、创建数组（1）常用的创建一维数组的方式#可以将任意类型的序列（列表、元组、字典、集合、字符串）传递给np.array()a1=np.array([1,2,3,4])#传递列表a2=np.array((1,2,3,4))#传递元组a3=np.array([1,2,3,4],dtype=float)#在创
系统 2019-09-27 17:52:35 1809
说到流处理，Spark为我们提供了窗口函数，允许在滑动数据窗口上应用转换，常用场景如每五分钟商场人流密度、每分钟流量等等，接下来我们通过画图来了解SparkStreaming的窗口函数如何工作的，处理过程图如下所示：上图中绿色的小框框是一批一批的数据流，虚线框和实线框分别是前一个窗口和后一个窗口，从图中可以看出后一个窗口在前一个窗口基础上移动了两个批次的数据流，而我们真正通过算子操作的数据其实就是窗口内所有的数据流。在代码实现前了解下窗口操作常用的函数有：
系统 2019-09-27 17:52:34 1809
前言上项目的时候，遇见一次需求，需要把在线的其中一个collection里面的数据迁移到另外一个collection下，于是就百度了看到好多文章，其中大部分都是使用导入的方法，没有找到在线数据的迁移方法。于是写了python脚本，分享出来。思路：collection数据量比较大，所以一次性操作所有数据太大，于是分段执行操作。先分段按1000条数据量进行查询，处理成json数据把处理后的json数据发送到目的collection上即可实现:一、使用http的
系统 2019-09-27 17:52:33 1809
英文文档callable(object)ReturnTrueiftheobjectargumentappearscallable,Falseifnot.Ifthisreturnstrue,itisstillpossiblethatacallfails,butifitisfalse,callingobjectwillneversucceed.Notethatclassesarecallable(callingaclassreturnsanewinstance
系统 2019-09-27 17:52:30 1809
字典是键/值对构成的集合，字典通过大括号来创建，字典的键是字符串，而值可以是任何数据对象。字典有两个重要的特征：字典是无序的，字典项没有特定的顺序，只能通过键来获取值；字典是可变的，支持原处修改键的值；字典是作为散列表来实现的，可增长，搜索非常快速；和列表一样，字典存储的是对象的引用，不是拷贝。创建字典创建空的字典：>>>d={}创建包含两个项目的字典：>>>d={'name':'vic','age':28}创建包含嵌套类型的字典：>>>d={'stude
系统 2019-09-27 17:52:13 1809
在接收raw_input方法后，判断接收到的字符串是否为数字例如：str=raw_input("pleaseinputthenumber:")ifstr.isdigit():为True表示输入的所有字符都是数字，否则，不是全部为数字str为字符串str.isalnum()所有字符都是数字或者字母str.isalpha()所有字符都是字母str.isdigit()所有字符都是数字str.islower()所有字符都是小写str.isupper()所有字符都是
系统 2019-09-27 17:51:10 1809
