Scrapy是一个开源的Python数据抓取框架，速度快，强大，而且使用简单。来看一个官网主页上的简单并完整的爬虫：虽然只有10行左右的代码，但是它的确是一个完整的爬虫服务：当执行scrapyrunspiderxxx.py命令的时候，Scrapy在项目里查找Spider(蜘蛛️)并通过爬虫引擎来执行它。首先从定义在start_urls里的URL开始发起请求，然后通过parse()方法处理响应。response参数就是返回的响应对象。在parse()方法中，
系统 2019-09-27 17:53:38 2187
这里爬取的是http://sc.chinaz.com/tag_tupian/OuMeiMeiNv.html网站献上欧美美女！！！！fromlxmlimportetreeimporturllib.request,os,timeclassOuMeiSpider(object):def__init__(self,start_page,end_page):self.start_page=start_pageself.end_page=end_pageself.fi
系统 2019-09-27 17:53:14 2187
设计模式的重要性，不再赘述，分方法和类型逐一记录，以备忘。一、单例模式单例模式，顾名思义，python中的某个类有且仅有一个对象（实例）；1.应用场景：某个实例必须保证全局唯一性，如读取某些配置文件的实例，需要确保在任意地方都是相同配置值；2.实现方法：使用python中的基类object中__new__();3.代码：classsingleton(object):def__new__(cls,*args,**kw):ifnothasattr(cls,'_
系统 2019-09-27 17:52:35 2187
python是一门灵活的语言，也可以说python是一门胶水语言，顾名思义，就是其可以导入各类的包，python的包可以说是所有语言中最多的。当然导入包大部分是为了更快捷，更方便，效率更高。对于刚入门的python爱好者来说最初接触的应该是import直接导入包的方式，例如importtime，就是导入了python的time包，这个包中的方法可以处理大部分我们项目中遇到的关于时间的问题。下面我会详细介绍几种导入包的方式(在开发过程中绝对够用)以及怎样把其
系统 2019-09-27 17:52:19 2187
yield的功能类似于return，但是不同之处在于它返回的是生成器。生成器生成器是通过一个或多个yield表达式构成的函数，每一个生成器都是一个迭代器（但是迭代器不一定是生成器）。如果一个函数包含yield关键字，这个函数就会变为一个生成器。生成器并不会一次返回所有结果，而是每次遇到yield关键字后返回相应结果，并保留函数当前的运行状态，等待下一次的调用。由于生成器也是一个迭代器，那么它就应该支持next方法来获取下一个值。基本操作#通过`yield`
系统 2019-09-27 17:52:18 2187
程序说明：本程序实现将开发程序服务器中的打包文件通过该脚本上传到正式生产环境（注：生产环境和开发环境不互通）程序基本思路：将开发环境中的程序包拷贝到本地堡垒机将程序包进行解压获得解压后的文件通同步到生产服务器上主要知识点：python库os.system()的基本使用利用python调用xshell命令程序使用方法：pythonaddline.py开发主机ip程序包目标主机ip上传目录上传编号如：pythonaddline.py240/home/shaoj
系统 2019-09-27 17:52:05 2187
目录python多线程详解一、线程介绍什么是线程为什么要使用多线程二、线程实现threading模块自定义线程守护线程主线程等待子线程结束多线程共享全局变量互斥锁递归锁信号量（BoundedSemaphore类)事件（Event类）三、GIL（GlobalInterpreterLock）全局解释器锁python多线程详解一、线程介绍什么是线程线程（Thread）也叫轻量级进程，是操作系统能够进行运算调度的最小单位，它被包涵在进程之中，是进程中的实际运作单位
系统 2019-09-27 17:51:56 2187
获取现在的时间用方法datetime.datetime.now().strftime('%F%T')，获取未来或者过去的时间可以用如下方法：#-*-coding:utf-8-*-importdatetimeif__name__=='__main__':print(datetime.datetime.now().strftime('%F%T'))print((datetime.datetime.now()-datetime.timedelta(days=1)
系统 2019-09-27 17:51:23 2187
pymysqldemo代码样例，暂时先写查询的，增删改后续再添加；通用部分无论是增删改查，都需要先建立数据库连接，创建游标importpymysql#建立一个mysql的conn，返回Connetion对象conn=pymysql.connect(host='localhost',user='root',passwd='p@ssWD',port='3306',db='test')#新建一个游标，默认返还元组，可选DictCursor让查询结果返还dict#
系统 2019-09-27 17:50:47 2187
mongodb是基于分布式文件存储的nosql(非关系型)数据库虽说是nosqldb,butmongodb其中的文档可以是关系型的在mongodb中,表为集合,里面的数据为文档;文档本质就是一条调JSON数据进入mongodb:mongo退出mongodb:exit库操作显示库:showdbs选择或者创建:usellsdb#不管该库是否存在,都会use进入,如何该库不存在,use进去不存入数据退出时,该库不会被创建.所以创建库就use再写入数据.查看所在库
系统 2019-09-27 17:50:39 2187
