分析分析网站寻找需要的网址用谷歌浏览器摁F12打开开发者工具，然后打开斗鱼颜值分类的页面，如图：在里面的请求中，最后发现它是以ajax加载的数据，数据格式为json，如图：圈住的部分是我们需要的数据，然后复制它的网址为https://www.douyu.com/gapi/rknc/directory/yzRec/1，出于学习目的只爬取第一页（减少服务器压力）。然后把网址放到浏览器中测试是否可以访问。如图：结果正常。分析json数据，提取图片链接最后分析发现
系统 2019-09-27 17:46:57 1882
Python是一种面向对象的解释型计算机程序语言，具有丰富和强大的库，能够把用其他语言制作的各种模块（尤其是C/C++）轻松联结在一起。Python语法简捷而清晰，具有丰富和强大的类库。Python开发方便，工具库丰富，尤其在科学计算方面支持很强大。如今Python语言的学习已经上升到了国家战略的层面上。Python语言是人工智能的基础语言，国家相关教育部门对于“人工智能普及”格外重视，不仅将Python列入到小学、中学和高中等传统教育体系中，并借此为未来
系统 2019-09-27 17:46:44 1882
Python安装selenium包打开命令行窗口，进入python交互环境python尝试导入selenium包，报错，说明尚未安装seleniumimportselenium退出python交互环境exit()使用pip安装selenium包pipinstallselenium下载对应版本的webdirver,这里用的是某歌的，因为本机安装的某歌浏览器，网页有对应版本说明及下载地址，这里不写了，注意的是下载的dirver一定要在环境变量里path配有的路
系统 2019-09-27 17:46:04 1882
我们熟悉了对象和类的基本概念。我们将进一步拓展，以便能实际运用对象和类。调用类的其它信息上一讲中提到，在定义方法时，必须有self这一参数。这个参数表示某个对象。对象拥有类的所有性质，那么我们可以通过self，调用类属性。复制代码代码如下:classHuman(object):laugh='hahahaha'defshow_laugh(self):printself.laughdeflaugh_100th(self):foriinrange(100):se
系统 2019-09-27 17:45:55 1882
#/usr/bin/envpython#-*-coding:utf-8-*-"""1.解析crontab配置文件中的五个数间参数(分时日月周)，获取他们对应的取值范围2.将时间戳与crontab配置中一行时间参数对比，判断该时间戳是否在配置设定的时间范围内"""#$Id$importre,time,sysfromCore.FDateTime.FDateTimeimportFDateTimedefget_struct_time(time_stamp_int)
系统 2019-09-27 17:38:43 1882
本文以实例形式展示了Python算法中栈（stack）的实现，对于学习数据结构域算法有一定的参考借鉴价值。具体内容如下：1.栈stack通常的操作：Stack()建立一个空的栈对象push()把一个元素添加到栈的最顶层pop()删除栈最顶层的元素，并返回这个元素peek()返回最顶层的元素，并不删除它isEmpty()判断栈是否为空size()返回栈中元素的个数2.简单案例以及操作结果：StackOperationStackContentsReturnVa
系统 2019-09-27 17:38:32 1882
安装Tornado省事点可以直接用grequests库，下面用的是tornado的异步client。异步用到了tornado，根据官方文档的例子修改得到一个简单的异步爬虫类。可以参考下最新的文档学习下。pipinstalltornado异步爬虫#!/usr/bin/envpython#-*-coding:utf-8-*-importtimefromdatetimeimporttimedeltafromtornadoimporthttpclient,gen,
系统 2019-09-27 17:38:10 1882
本文介绍了Python对于线程的支持，包括“学会”多线程编程需要掌握的基础以及Python两个线程标准库的完整介绍及使用示例。注意：本文基于Python2.4完成，；如果看到不明白的词汇请记得百度谷歌或维基，whatever。1.线程基础1.1.线程状态线程有5种状态，状态转换的过程如下图所示：1.2.线程同步（锁）多线程的优势在于可以同时运行多个任务（至少感觉起来是这样）。但是当线程需要共享数据时，可能存在数据不同步的问题。考虑这样一种情况：一个列表里所
系统 2019-09-27 17:38:03 1882
解决思路首先想到的就是利用python的正则表达式来匹配非法字符，然后找出非法记录。然而理想总是丰满的，现实却是残酷的。在实现的过程中，才发现自己对于字符编码、以及python内部字符串表示的相关知识的缺乏。在这期间，踩过了不少坑，到最后虽然还有些模糊的地方，但总算有一个总体清晰的了解。在此记录下心得，避免以后在同一个地方跌倒。以下的测试环境是ArcGIS10.3自带的python2.7.8环境，不保证其他python环境也适用。python正则表达式py
系统 2019-09-27 17:37:48 1882
很简单的代码，记录一下。复制代码代码如下:importImageimage=Image.open('a.jpg')importcStringIObuf=cStringIO.StringIO()image.save(buf,image.format,quality=75)data=buf.getvalue()a=u.writeFile('/this/logo.jpg',data,True)应用在使用django，用户上传图片后，将图片转存到别的服务器。但是转
系统 2019-09-27 17:37:43 1882
