今天介绍个神奇的网站！堪称爬虫偷懒的神器！我们在写爬虫，构建网络请求的时候，不可避免地要添加请求头(headers)，以mdn学习区为例，我们的请求头是这样的：一般来说，我们只要添加user-agent就能满足绝大部分需求了，Python代码如下：importrequestsheaders={#'authority':'developer.mozilla.org',#'pragma':'no-cache',#'cache-control':'no-cach
系统 2019-09-27 17:53:21 1947
defsend_mail(to_mail,subject,data,filename=None):smtp_server='smtp.exmail.qq.com'from_mail=""mail_pass=""msg=MIMEMultipart()msg["From"]=from_mailmsg["To"]=','.join(to_mail)msg["Subject"]=Header(subject,'utf-8').encode()#构造htmld=da
系统 2019-09-27 17:53:10 1947
非阻塞IO（non-blockingIO）Linux下，可以通过设置socket使其变为non-blocking。当对一个non-blockingsocket执行读操作时，流程是这个样子：从图中可以看出，当用户进程发出read操作时，如果kernel中的数据还没有准备好，那么它并不会block用户进程，而是立刻返回一个error。从用户进程角度讲，它发起一个read操作后，并不需要等待，而是马上就得到了一个结果。用户进程判断结果是一个error时，它就知道
系统 2019-09-27 17:53:07 1947
前言正则表达式就是从字符串中发现规律，并通过“抽象”的符号表达出来。打个比方，对于2,5,10,17,26,37这样的数字序列，如何计算第7个值，肯定要先找该序列的规律，然后用n2+1这个表达式来描述其规律，进而得到第7个值为50。对于需要匹配的字符串来说，同样把发现规律作为第一步，本文主要使用正则表达式完成字符串的查询匹配、替换匹配和分割匹配。常用的正则符号在进入字符串的匹配之前，先来了解一下都有哪些常用的正则符号，见下表所示：如果读者能够比较熟练地掌握
系统 2019-09-27 17:52:54 1947
在之前学习的RDD和DataFrame数据集主要处理的是离线数据，随着时代发展进步，我们会发现越来越多数据是在源源不断发回到数据中心，同时需要立刻响应给用户，这样的情况我们就会用到实时处理，常用的场景有实时显示某商场一小时人流密度、实时显示当天火车站人口总数等等。接下来从实时数据源说起，实时数据源主要有：FileSourceSocketSourceFlumeSourceKafkaSourceFileSource指的是文件作为数据来源，常用的有本地文件fil
系统 2019-09-27 17:52:32 1947
英文文档callable(object)ReturnTrueiftheobjectargumentappearscallable,Falseifnot.Ifthisreturnstrue,itisstillpossiblethatacallfails,butifitisfalse,callingobjectwillneversucceed.Notethatclassesarecallable(callingaclassreturnsanewinstance
系统 2019-09-27 17:52:30 1947
代码如下#!/bin/python#coding=utf-8#python-version=2.75#使用python2fromftplibimportFTP#引用ftplib库中的FTP功能模块,进行ftp下载使用importtime#引用time模块importos#引用os模块"""使用字典，定义交换机主机，一个字典包含多个键，一个键使用一个列表，包含多个主机地址按照实际情况定义"""dic={'tongjiju':['XXXX.XXXX.XXXX.
系统 2019-09-27 17:52:21 1947
python的循环编写程序时经常有代码需要重复运行，python提供了while和for进行循环操作。一、while循环1、while循环可以根据条件进行判断，决定是否要循环执行语句块，语法如下：循环条件后面也是要使用冒号，然后缩进写循环操作语句，先判断条件是否成立，如果为true，则执行循环操作语句，如果为false，则跳出循环。示例代码如下：count=0while(count<5):count=count+1print(count)#结果>>>5变量
系统 2019-09-27 17:52:20 1947
11.5jQuery引入方式：方式一：本地引入方式二：直接使用CDN文档就绪事件：DOM文档加载的步骤1.解析HTML结构。2.加载外部脚本和样式表文件。3.解析并执行脚本代码。4.DOM树构建完成。5.加载图片等外部文件。6.页面加载完毕11.51选择器id选择器：$("#i1")标签选择器：$("p")class选择器：$(".c1")所有元素选择器：$("*")交集选择器：$("div.c1")//找到类为c1的div标签并集选择器：$("#i1,
系统 2019-09-27 17:52:18 1947
作为临时测试用python命令来搭建web测试是最好不过的选择了；CD切换到当前目录只需要一句python命令就迅速搭建好了简单的web服务器，pythonlinux自带又无需额外配置安装感觉还是很好用的；python开启web服务器命令python-mSimpleHTTPServer8080端口号可以任意指定一个没有被占用的端口，但必须能通过防火墙；执行完上面命令后，直接输入IP地址加端口号就行了http://:端口号/路径如：http://192.16
系统 2019-09-27 17:52:09 1947
