什么是爬虫爬虫就是通过编写程序模拟浏览器上网，然后让其去互联网上抓取数据的过程。爬虫的分类1.通用爬虫：通用爬虫是搜索引擎（Baidu、Google、Yahoo等）“抓取系统”的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。简单来讲就是尽可能的；把互联网上的所有的网页下载下来，放到本地服务器里形成备分，在对这些网页做相关处理(提取关键字、去掉广告)，最后提供一个用户检索接口。搜索引擎如何抓取互联网上的网站数据？门户网站主
系统 2019-09-27 17:52:22 2225
在linux下写几个测试程序，还要一行行的输入g++命令进行编译，当经常改测试代码的时候，那一次次的敲（或者一次次的上线箭头选）也感觉不爽，不如make来的快。用Makefile的好处就不用多说了，这里我写了个脚本，其功能是自动搜索当前目录（不包括子目录）下的“.c”文件生成Makefile文件。代码在这里，功能有限（适用于单个文件是一个独立的测试代码的情况），需要的朋友可以稍作修改以满足需求。复制代码代码如下:#!/usr/bin/python'''Fi
系统 2019-09-27 17:51:44 2225
安装模块windows:pipinstallpymysqlubuntu:sudopip3installpymysqlpython操作mysql步骤importpymysql(1)链接mysql数据库db=pymysql.connect(主机名,用户名,密码,数据库名)(2)设置字符编码db.set_charset('utf8')(3)创建游标对象cursor=db.cursor()(4)准备sql语句sql='...'(5)执行sql语句cursor.ex
系统 2019-09-27 17:51:03 2225
场景说明假设有一个mysql表被水平切分，分散到多个host中，每个host拥有n个切分表。如果需要并发去访问这些表，快速得到查询结果，应该怎么做呢？这里提供一种方案，利用python3的asyncio异步io库及aiomysql异步库去实现这个需求。代码演示importloggingimportrandomimportasynciofromaiomysqlimportcreate_pool#假设mysql表分散在8个host,每个host有16张子表TB
系统 2019-09-27 17:50:32 2225
如下所示：#coding:utf-8importosimportpsutilimporttimedefwrite_pid():pid=os.getpid()fp=open("pid.log",'w')fp.write(str(pid))fp.close()defread_pid():ifos.path.exists("pid.log"):fp=open("pid.log",'r')pid=fp.read()fp.close()returnpidelse:r
系统 2019-09-27 17:48:34 2225
先看之前写的代码：i=0defhhh():globaliprint(i)ifi==3:returnii=i+1hhh()print(hhh())结果应该输出01233但实际却是：0123None这是为什么呢？首先，Return的用法，调用函数的时候，如果没有执行return命令（或return命令未接收数据），默认会返回none这里if判断生效，确定应该执行了return命令，也接收到了全局变量i，但为什么结果和预想不一样呢？这里主要是由于函数递归的使用导
系统 2019-09-27 17:47:32 2225
浏览器的简单操作#导入webdriver模块#创建driver对象，指定Chrome浏览器driver=webdriver.Chrome()#窗口最大化driver.maximize_window()#访问百度driver.get("http://baidu.com")driver.get("http://sina.com")#后退driver.back()#前进driver.forward()#刷新driver.refresh()#关闭窗口driver.
系统 2019-09-27 17:47:25 2225
1：readline()file=open("sample.txt")while1:line=file.readline()ifnotline:breakpass#dosomethingfile.close()一行一行得从文件读数据，显然比较慢；不过很省内存；测试读10M的sample.txt文件，每秒大约读32000行；2：fileinputimportfileinputforlineinfileinput.input("sample.txt"):pas
系统 2019-09-27 17:38:15 2225
上文已经讲到，Tcp连接池管理器为我们的应用进行了很多复杂的管理，比如功能服务器的调度（实现FS的负载均衡）、连接池的动态添加/移除、控制每个连接池的相关参数在UI上的显示等，并且连接池管理器与单个连接池拥有一样的接口ITcpPool。我们先回顾一下这个接口：1publicinterfaceITcpPool2{3RentStreamResultRentTcpStream(intpoolTypeKey,intserviceKey,outNetworkStre
系统 2019-08-29 23:36:45 2225
疑问、不解、惊讶不开心、发愁郁闷、委屈、不开心寒、囧、汗晕、雷、吐无奈、投降、对不起倒霉蛋哭抓狂怒挑衅、打架NO酷PS另有小个的表情，及生活类、正面情绪类表情。相关文章：表情们一些表情符号CSDN论坛表情指南表情们（四）
系统 2019-08-29 23:24:53 2225
