什么是爬虫爬虫就是通过编写程序模拟浏览器上网，然后让其去互联网上抓取数据的过程。爬虫的分类1.通用爬虫：通用爬虫是搜索引擎（Baidu、Google、Yahoo等）“抓取系统”的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。简单来讲就是尽可能的；把互联网上的所有的网页下载下来，放到本地服务器里形成备分，在对这些网页做相关处理(提取关键字、去掉广告)，最后提供一个用户检索接口。搜索引擎如何抓取互联网上的网站数据？门户网站主
系统 2019-09-27 17:52:22 2222
定时与邮件在这一关，我们希望为一般的爬虫程序新增两个实用性比较强的功能：第一是定时功能，即程序可以根据我们设定的时间自动爬取数据；第二是通知功能，即程序可以把爬取到的数据结果以邮件的形式自动发送到我们的邮箱。这两个功能可以让爬虫程序定时向我们汇报。试想一下，如果你是一位股票（或比特币）的持有者，你希望及时爬取股票（或比特币）每日的价格数据，方便你能及时卖出或买入，那每天都去启动一遍爬虫程序是极其不高效的。而此时，如果你的爬虫程序有定时和发送邮件功能，能自动
系统 2019-09-27 17:50:59 2222
场景说明假设有一个mysql表被水平切分，分散到多个host中，每个host拥有n个切分表。如果需要并发去访问这些表，快速得到查询结果，应该怎么做呢？这里提供一种方案，利用python3的asyncio异步io库及aiomysql异步库去实现这个需求。代码演示importloggingimportrandomimportasynciofromaiomysqlimportcreate_pool#假设mysql表分散在8个host,每个host有16张子表TB
系统 2019-09-27 17:50:32 2222
关于pythonsetup.pybdistpythonsetup.pysdist两者的区别sdist指的是sourcedist即源码发布，带setup.pybdist指的是built(binary)dist即编译过(二进制)发布不带setup.py查看setup.py各种编译命令参数pythonsetup.py--help-commands查看具体某个命令参数pythonsetup.pybdist--help查看setup.py配置的参数pythonset
系统 2019-09-27 17:50:27 2222
如下所示：#coding:utf-8importosimportpsutilimporttimedefwrite_pid():pid=os.getpid()fp=open("pid.log",'w')fp.write(str(pid))fp.close()defread_pid():ifos.path.exists("pid.log"):fp=open("pid.log",'r')pid=fp.read()fp.close()returnpidelse:r
系统 2019-09-27 17:48:34 2222
工作中，工具用到了pythonQt5，涉及到了按钮颜色，这里就做个总结。也顺便给要用这块的同仁抛出来一个砖头，把大牛引出来做个指导。一般设置按钮的颜色有三种表达：如下所示：具体的怎么使用，估计要看一下用例就清楚了。QPushButtonbutton1,button2,button3;button1.setStyleSheet("background-color:red");button2.setStyleSheet("background-color:#f
系统 2019-09-27 17:47:43 2222
先看之前写的代码：i=0defhhh():globaliprint(i)ifi==3:returnii=i+1hhh()print(hhh())结果应该输出01233但实际却是：0123None这是为什么呢？首先，Return的用法，调用函数的时候，如果没有执行return命令（或return命令未接收数据），默认会返回none这里if判断生效，确定应该执行了return命令，也接收到了全局变量i，但为什么结果和预想不一样呢？这里主要是由于函数递归的使用导
系统 2019-09-27 17:47:32 2222
面试时被问到了虚析构函数的使用，特此记录首先我们写两个类：#ifndefCLX_H#defineCLX_H#includeclassClxBase{public:ClxBase(){std::cout<<"clx_basehasbeencreated"<
系统 2019-08-29 23:28:03 2222
Android开发环境中搭建AVD，明明建了但是找不到，也Start不了，后面发现是SDK的路径改了原因，怎样以不变应万变呢？配置环境变量。1.在用户变量Path中添加SDK安装目录/toolsSDK安装目录/platform-tools2.新建一个ANDROID_SDK_HOME:=SDK的安装目录。记得环境变量设置完之后重启Eclipse，再重新new一个AVD，成功！打开AVD或者手机运行adbpull/adbpush在电脑和手机/AVD之间导出/导
系统 2019-08-29 23:22:06 2222
在下面的教程里，我们将从基本形状开始，完全使用FLASH画一个小奶瓶的图标。首先我们从一个圆角的矩形开始，把它的底部调节成圆形。再把顶部调成突起的形状，如果你熟悉贝塞尔曲线，这不是什么难事。然后我们用形状扩展，外扩出一个粗边来，这将是瓶壁。画瓶盖的圆柱其实很简单，先画一个椭圆，然后垂直复制一份。切去下半个的上半部分。将上面的边拉伸出来，形成圆柱的壁，然后移到下层，这样很快是不是？下面的一个小圆柱也采用同样的方法。这时我发现下面的瓶身需要一个瓶颈，于是先将其
系统 2019-08-29 23:18:44 2222
