网络爬虫学习笔记（2）1资料《Python网络爬虫从入门到实践》唐松，陈志铨。主要面向windows平台下的python3。菜鸟教程-》python2笔记2-1Python基础（1）++python的列表还有一种只读格式——元组Tuple，它用（）进行赋值，且只能在初始化时赋值。列表有追加元素的内置方法append（）字典有内置方法keys()（获得所有键的值），values()元组用“()”标识，列表用“[]”标识，字典用“{}”标识type(变量)查看
系统 2019-09-27 17:52:44 2102
BeautifulSoup基础实战安装：pipinstallbeautifulsoup4常用指令：frombs4importBeautifulSoupasbsimporturllib.requestdata=urllib.request.urlopen("https://www.cnblogs.com/mcq1999/").read().decode("utf-8","ignore")bs1=bs(data)print(bs1.prettify())#格式
系统 2019-09-27 17:50:47 2102
本文实例讲述了python实现ip代理池功能。分享给大家供大家参考，具体如下：爬取的代理源为西刺代理。用xpath解析页面用telnet来验证ip是否可用把有效的ip写入到本地txt中。当然也可以写入到redis、mongodb中，也可以设置检测程序当代理池中的ip数不够（如：小于20个）时，启动该脚本来重新获取ip，本脚本的代码也要做相应的改变。#!/usr/bin/envpython#-*-coding:utf-8-*-#@Version：1.0#@T
系统 2019-09-27 17:47:57 2102
来源：枫恋寒链接：https://segmentfault.com/a/119000001.png"font-size:12px;">在Python中字符串连接有多种方式，这里简单做个总结，应该是比较全面的了，方便以后查阅。加号连接第一种，通过+号的形式：>>>a,b='hello','world'>>>a+b'helloworld'逗号连接第二种，通过,逗号的形式：>>>a,b='hello','world'>>>print(a,b)helloworld
系统 2019-09-27 17:47:09 2102
fileinput模块可以遍历文本文件的所有行.它的工作方式和readlines很类似,不同点在于,它不是将全部的行读到列表中而是创建了一个xreadlines对象.下面是fileinput模块中的常用函数input()#它会返回能够用于for循环遍历的对象.filename()#返回当前文件的名称lineno()#返回当前(累计)的行数filelineno()#返回当前文件的行数isfirstline()#检查当前行是否是文件的第一行复制代码代码如下:#
系统 2019-09-27 17:46:52 2102
原文链接：https://www.learnopencv.com/read-an-image-in-opencv-python-cpp/InOpenCVyoucaneasilyreadinimageswithdifferentfileformats(JPG,PNG,TIFFetc.)usingimread.ThebasicusageisshownbelowC++Matimread(conststring&filename,intflags=IMREAD_C
系统 2019-09-27 17:46:26 2102
基于python-opencv3的图像显示和保存操作，具体代码如下所示：importcv2ascvimportnumpyasnp#导入库print("-------------------------------")image=cv.imread("D:/1.jpeg")#写入图像cv.imshow("image",image)#显示cv.waitKey()#等待cv.destroyAllWindows()#关闭所有窗口cv.imwrite("D:\\2.
系统 2019-09-27 17:54:55 2101
之前了解到itchat乃至于wxpy时是利用tuling聊天机器人的接口。调用接口并保存双方的问答结果可以作为自己的问答词库的一个数据库累计。这些数据可以用于自己训练。而最近希望获取一些语音资源，用于卷积神经网络的训练。。--------------------------------------------------------------------------------首先wxpy是itchat的升级版，通过wxpybot.core即可原封不动的
系统 2019-09-27 17:53:42 2101
本文实例讲述了python列表操作的方法。分享给大家供大家参考。具体实现方法如下：复制代码代码如下:classNode:"""Singlenodeinadatastructure"""def__init__(self,data):"""Nodeconstructor"""self._data=dataself._nextNode=Nonedef__str__(self):"""Nodedatarepresentation"""returnstr(self.
系统 2019-09-27 17:53:05 2101
说到流处理，Spark为我们提供了窗口函数，允许在滑动数据窗口上应用转换，常用场景如每五分钟商场人流密度、每分钟流量等等，接下来我们通过画图来了解SparkStreaming的窗口函数如何工作的，处理过程图如下所示：上图中绿色的小框框是一批一批的数据流，虚线框和实线框分别是前一个窗口和后一个窗口，从图中可以看出后一个窗口在前一个窗口基础上移动了两个批次的数据流，而我们真正通过算子操作的数据其实就是窗口内所有的数据流。在代码实现前了解下窗口操作常用的函数有：
系统 2019-09-27 17:52:34 2101
