闲来无事，想看看python，网上看了一下教程，好像入门问题不大，那就说干就干。先大概了解一下python的语法。传送门：https://www.runoob.com/python/python-tutorial.html最基础的语法啊，balabala一堆，反正先看下，了解一下。然后就是来搭建一下环境，网上看了一下，linux如何搭建python环境，一看吓一跳，linux本身自带python运行环境。这么刺激的嘛，赶紧打开我的linux，先瞅瞅：终端下
系统 2019-09-27 17:47:45 1847
如果你不希望从头开始创造一种数据格式来存放数据，JSON是一个很好的选择。如果你对Python有所了解，就更加事半功倍了。下面就来介绍一下如何使用Python处理JSON数据。JSON的全称是JavaScript对象表示法JavaScriptObjectNotation。这是一种以键值对的形式存储数据的格式，并且很容易解析，因而成为了一种被广泛使用的数据格式。另外，不要因为JSON名称而望文生义，JSON并不仅仅在JavaScript中使用，它也可以在其它
系统 2019-09-27 17:47:24 1847
还是分析一下大体的流程：首先还是Chrome浏览器抓包分析元素，这是网址：https://www.douyu.com/directory/all发现所有房间的信息都是保存在一个无序列表中的li中，所以我们可以先获取一个装有li的element对象的列表，然后在对每个element逐一操作分析斗鱼的翻页，有一个下一页按钮，是个li，class="dy-Pagination-item-custom"，但是当烦到最后一页的时候，class="dy-Paginat
系统 2019-09-27 17:47:21 1847
分析分析网站寻找需要的网址用谷歌浏览器摁F12打开开发者工具，然后打开斗鱼颜值分类的页面，如图：在里面的请求中，最后发现它是以ajax加载的数据，数据格式为json，如图：圈住的部分是我们需要的数据，然后复制它的网址为https://www.douyu.com/gapi/rknc/directory/yzRec/1，出于学习目的只爬取第一页（减少服务器压力）。然后把网址放到浏览器中测试是否可以访问。如图：结果正常。分析json数据，提取图片链接最后分析发现
系统 2019-09-27 17:46:57 1847
仔细研读后学习了三个函数：eval:计算字符串中的表达式exec:执行字符串中的语句execfile:用来执行一个文件需注意的是，exec是一个语句，而eval()和execfile()则是内建built-in函数。Python2.7.2(default,Jun122011,15:08:59)[MSCv.150032bit(Intel)]onwin32Type"help","copyright","credits"or"license"formoreinf
系统 2019-09-27 17:46:53 1847
下标所谓下标就是编号，就好比超市中存储柜的编号，通过这个编号就能找到相应的存储空间。Python中字符串，列表，元祖均支持下标索引。例如：#如果想取出部分字符，可使用下标name="abcd"print(name[0])print(name[1])print(name[2])print(name[3])#输出结果为：#a#b#c#d切片切片是指对操作的对象截取一部分的操作，字符串，列表，元组均支持切片操作。切片的语法：[起始:结束:步长]注意：选取的区间属
系统 2019-09-27 17:46:49 1847
读取一个已经保存了的字典f=open('dict_th','r')a=f.read()dict_hi=eval(a)f.close()保存一个字典dict={}list1=[]list2=[]forlineinlines:line=line.strip()if">"inline:list1.append(line)else:list2.append(line)foriinrange():dict[list1[i]]=list2[i]f6=open("dic
系统 2019-09-27 17:46:38 1847
内置函数：Built-inFunctionsabs()all()any()ascii()bin()1.abs(x)返回x的绝对值。参数可以是整数或浮点数。如果参数是复数，则返回其大小。importmathprint('abs(45)的值:',abs(45))print('abs(-45)的值:',abs(-45))print('abs(45+23)的值:',abs(45+23))print('abs(math.pi)的值:',abs(math.pi))输出
系统 2019-09-27 17:46:09 1847
filter函数：filter()函数可以对序列做过滤处理，就是说可以使用一个自定的函数过滤一个序列，把序列的每一项传到自定义的过滤函数里处理，并返回结果做过滤。最终一次性返回过滤后的结果。filter()函数有两个参数：第一个，自定函数名，必须的第二个，需要过滤的列，也是必须的DEMO需求，过滤大于5小于10的数：复制代码代码如下:#coding=utf8#定义大于5小于10的函数defguolvhanshu(num):ifnum>5andnum<10:
系统 2019-09-27 17:46:02 1847
这次只演示了，如何在真实项目内用到BeautifulSoup库来解析网页，而新浪的新闻是ajax加载过来的数据，在这里我们只演示解析部分数据（具体反扒机制没做分析）。代码地址：https://gitee.com/dwyui/BeautifulSoup_xinlang.git。关于的爬虫的博客已经越来越多，使用到的技术也越来越多，后期我还会持续写下去，大概从几个角度去写，多线程爬取（提高效率），如何更好的做到爬取数据（破解反扒）。用redis管理多线程和代理
系统 2019-09-27 17:45:54 1847
