什么是爬虫爬虫就是通过编写程序模拟浏览器上网，然后让其去互联网上抓取数据的过程。爬虫的分类1.通用爬虫：通用爬虫是搜索引擎（Baidu、Google、Yahoo等）“抓取系统”的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。简单来讲就是尽可能的；把互联网上的所有的网页下载下来，放到本地服务器里形成备分，在对这些网页做相关处理(提取关键字、去掉广告)，最后提供一个用户检索接口。搜索引擎如何抓取互联网上的网站数据？门户网站主
系统 2019-09-27 17:52:22 2191
解决Python3控制台输出InsecureRequestWarning的问题问题：使用Python3requests发送HTTPS请求，已经关闭认证（verify=False）情况下，控制台会输出以下错误：InsecureRequestWarning:UnverifiedHTTPSrequestisbeingmade.Addingcertificateverificationisstronglyadvised.See:https://urllib3.re
系统 2019-09-27 17:52:19 2191
异常1.定义：运行时检测到的错误。2.现象：当异常发生时，程序不会再向下执行，而转到函数的调用语句。3.常见异常类型：–名称异常(NameError)：变量未定义。–类型异常(TypeError)：不同类型数据进行运算。–索引异常(IndexError)：超出索引范围。–属性异常(AttributeError)：对象没有对应名称的属性。–键异常(KeyError)：没有对应名称的键。–为实现异常(NotImplementedError)：尚未实现的方法。–
系统 2019-09-27 17:50:45 2191
场景说明假设有一个mysql表被水平切分，分散到多个host中，每个host拥有n个切分表。如果需要并发去访问这些表，快速得到查询结果，应该怎么做呢？这里提供一种方案，利用python3的asyncio异步io库及aiomysql异步库去实现这个需求。代码演示importloggingimportrandomimportasynciofromaiomysqlimportcreate_pool#假设mysql表分散在8个host,每个host有16张子表TB
系统 2019-09-27 17:50:32 2191
我想要向您介绍能想像到的开始GUI编程的最简单方法，就是使用Scriptics的TK和Tkinter封装器。我们将与developerWorks中的“Python中的curses编程”提到的curses库进行很多比较。除了curses实现文本控制台而TK实现GUI这一差别之外，这两个库有着惊人相似的接口。在使用任何一个库之前，需要基本了解窗口和事件循环，并参考可用的窗口小部件。（好，好的参考和适量的练习。）如同关于curses的文章，本文仅讨论Tkinte
系统 2019-09-27 17:50:00 2191
本文参考“郭靖愕然——python的多线程与多进程”对多进程/多线程的概念进行理解，结合实际运用情况对python多进程进行整理。一、进程与线程Process&Thread进程是操作系统进行资源分配的最小单元，资源包括CPU、内存、磁盘等IO设备等等，而线程是CPU调度的基本单位。举个简单的例子来帮助理解：我们电脑上同时运行的浏览器和视频播放器是两个不同的进程，进程可能包含多个子任务，这些子任务就是线程，比如视频播放器在播放视频时要同时显示图像、播放声音、
系统 2019-09-27 17:48:29 2191
版权声明：转载请注明作者（独孤尚良dugushangliang）出处：https://blog.csdn.net/dugushangliang/article/details/90021409先说说查看本机ip的方法：可以直接通过搜索引擎搜索ip，得到的是公网ip，你是用这个ip上网的，即和互联网交互的。但奇怪的是，有的是180开头有的是218开头。这个有些奇怪。鄙人水平不足，先存疑待考吧。本机是通过路由器联网的，不是直接通过拨号连接互联网的，所以本机有局
系统 2019-09-27 17:32:52 2191
下一页1.HTML是静态的，JSP是动态的，交互式的，而且可由用户定制。2.服务器：可能是物理主机（硬件），也可能是Web服务器应用（软件）。客户：指人类用户，或浏览器应用。Web客户允许用户请求服务器上的某个资源，并且向用户显示请求结果。3.服务器和客户的通信服务器和客户之间对话的共同的语言是HTTP。服务器使用HTTP向客户发送信息。4.HTTP请求：HTTP方法（Get、Post），要访问的页面，表单参数。响应：状态码，内容类型（文本、图片、HTML
系统 2019-08-29 23:49:23 2191
设计模式之Facade(外观总管Manager)板桥里人http://www.jdon.com2002/4/6/（转载请保留）模式实战书籍《Java实用系统开发指南》Facade模式的定义:为子系统中的一组接口提供一个一致的界面.Facade一个典型应用就是数据库JDBC的应用,如下例对数据库的操作:publicclassDBCompare{Connectionconn=null;PreparedStatementprep=null;ResultSetrs
系统 2019-08-29 23:33:54 2191
1.蜂窝移动通信系统的基本组成手机--MS(MobileStation)SIM--SIM卡就是“身份卡”，就是IC卡或智能卡。存有认证客户身份所需的所有信息，并能执行一些与安全保密有关的重要信息以及与网路和客户有关的管理数据。MobileEquipment--ME就是“机”，它可完成话音编码、信道编码、信息加密、信息的调制和解调、信息发射和接收。MSISDN(MobileStationISDN)：用户标识【CDMA：MDN】IMSI(Internation
系统 2019-08-29 23:24:55 2191
