什么是爬虫爬虫就是通过编写程序模拟浏览器上网，然后让其去互联网上抓取数据的过程。爬虫的分类1.通用爬虫：通用爬虫是搜索引擎（Baidu、Google、Yahoo等）“抓取系统”的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。简单来讲就是尽可能的；把互联网上的所有的网页下载下来，放到本地服务器里形成备分，在对这些网页做相关处理(提取关键字、去掉广告)，最后提供一个用户检索接口。搜索引擎如何抓取互联网上的网站数据？门户网站主
系统 2019-09-27 17:52:22 2368
麻烦的#TODO构造增广矩阵，假设A，b行数相同defaugmentMatrix(A,b):if(len(A)!=len(b)):raise'Thenumberofrowsisdifferent'result=[]foriinrange(len(A)):row=[]forjinrange(len(A[i])):row.append(A[i][j])forjinrange(len(b[i])):row.append(b[i][j])result.append
系统 2019-09-27 17:52:06 2368
Python产生一个数值范围内的不重复的随机数，可以使用random模块中的random.sample函数，其用法如下：importrandomrandom.sample(population,k)函数从序列或集合population中返回一个长度为k的随机数列表，并且列表中的随机数元素之间是不重复的，如：>>>a=[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20]>>>a[1,2,3,4,5,6,7,
系统 2019-09-27 17:52:06 2368
一心想学习算法，很少去真正静下心来去研究，前几天趁着周末去了解了最短路径的资料，用python写了一个最短路径算法。算法是基于带权无向图去寻找两个点之间的最短路径，数据存储用邻接矩阵记录。首先画出一幅无向图如下，标出各个节点之间的权值。其中对应索引：A――>0B――>1C――>2D――>3E――>4F――>5G――>6邻接矩阵表示无向图：算法思想是通过Dijkstra算法结合自身想法实现的。大致思路是：从起始点开始，搜索周围的路径，记录每个点到起始点的权值
系统 2019-09-27 17:51:19 2368
首先是数据源：#需要求加权平均值的数据列表elements=[]#对应的权值列表weights=[]使用numpy直接求：importnumpyasnpnp.average(elements,weights=weights)附纯python写法：#不使用numpy写法1round(sum([elements[i]*weights[i]foriinrange(n)])/sum(weights),1)#不使用numpy写法2round(sum([j[0]*j[
系统 2019-09-27 17:50:32 2368
场景说明假设有一个mysql表被水平切分，分散到多个host中，每个host拥有n个切分表。如果需要并发去访问这些表，快速得到查询结果，应该怎么做呢？这里提供一种方案，利用python3的asyncio异步io库及aiomysql异步库去实现这个需求。代码演示importloggingimportrandomimportasynciofromaiomysqlimportcreate_pool#假设mysql表分散在8个host,每个host有16张子表TB
系统 2019-09-27 17:50:32 2368
先来看查看效果:在代码连接数据库后，并且执行三条sql后，将mysql直接重启掉，故我们的连接池连接均是不ok的，所以，它会全部删除再抓新的连接下来，重启mysql命令:关于python代码:'''遇到问题没人解答？小编创建了一个Python学习交流QQ群：857662006寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电子书！'''#!/usr/bin/envpython3#-*-coding:UTF-8-*-importpymys
系统 2019-09-27 17:47:30 2368
MapReduce与HDFS简介什么是Hadoop？Google为自己的业务需要提出了编程模型MapReduce和分布式文件系统GoogleFileSystem，并发布了相关论文（可在GoogleResearch的网站上获得：GFS、MapReduce）。DougCutting和MikeCafarella在开发搜索引擎Nutch时对这两篇论文做了自己的实现，即同名的MapReduce和HDFS，合起来就是Hadoop。MapReduce的Dataflow如
系统 2019-09-27 17:38:38 2368
本文要介绍的爬虫是抓取暴走漫画上的GIF趣图，方便离线观看。爬虫用的是python3.3开发的，主要用到了urllib、request和BeautifulSoup模块。urllib模块提供了从万维网中获取数据的高层接口，当我们用urlopen()打开一个URL时，就相当于我们用Python内建的open()打开一个文件。但不同的是，前者接收一个URL作为参数，并且没有办法对打开的文件流进行seek操作（从底层的角度看，因为实际上操作的是socket，所以理
系统 2019-09-27 17:37:40 2368
逐行读取txt文件path=r'D:\123456\1.txt'withopen(path,'r',encoding='utf-8')asf:forlineinf:value=line[:-1]#去掉换行符print(value)
系统 2019-09-27 17:56:49 2367
pythonBFS和DFSLeetCodeBFS主要用队列来实现，DFS主要用栈来实现#BFS模版defBFS(graph,start,end):visited,quene=set(),[start]visited.add(start)whilequeue:node=quenue.pop()visited.add(node)process(node)nodes=generate_related_nodes(node)queuq.push(nodes)#DF
系统 2019-09-27 17:55:31 2367
原文链接：https://t.csdnimg.cn/wSsp最近这段时间，常常有人在后台留言：该不该学Python？如何学Python？鉴于大家都有这方面的困惑今天就给大家推荐一本巨有影响力的Python书火到什么地步呢？在京东上常常卖断货！上线2月就成为畅销王！好评不断！这本书可谓是笔者独家私藏图书之一了，对我学习Python有着莫大的帮助，这次拿出来给大家分享一下PS：文末还将赠送5门课程！这本基于3.6的Python书究竟好在哪？这本书就是《疯狂Py
系统 2019-09-27 17:55:01 2367
本文分享的实例主要实现的是Python+matplotlib绘制一个有阴影和没有阴影的3D条形图，具体如下。首先看看演示效果：完整代码如下：importnumpyasnpimportmatplotlib.pyplotaspltfrommpl_toolkits.mplot3dimportAxes3D#setupthefigureandaxesfig=plt.figure(figsize=(8,3))ax1=fig.add_subplot(121,projec
系统 2019-09-27 17:52:34 2367
程序异常崩溃时会提供非常详细的错误信息，掌握正确的分析方法，就可以快速定位问题并解决问题，下面这段代码会引发异常导致程序终止deffunc_tet():func_sum('4',3)deffunc_sum(a,b):value=a+breturnvaluefunc_tet()运行这段程序，异常信息如下我将异常信息分为两部分，分析时，先关注最后一行绿色框内的信息，这里的信息明确的指明了异常的类型和异常的解释信息，这是我们分析问题的第一步，随着经验的积累，你很
系统 2019-09-27 17:52:03 2367
Anaconda是Python的一个开源发行版本，主要面向科学计算，预装了丰富强大的库。使用Anaconda可以轻松管理多个版本的Python环境。Download：https://www.anaconda.com/download/Anaconda默认有两个版本，可以选择64位还是32位安装，当你安装了其中一个版本时，系统默认为该版本。同时你可以在已安装的Anaconda版本中添加另一个版本的Python，实现多版本共存。Anaconda可以使用命令行进
系统 2019-09-27 17:48:03 2367
