跟我一起云计算（1）——storm概述最近要做一个实时分析的项目，所以需要深入一下storm。为什么storm综合下来，有以下几点：1.生逢其时MapReduce计算模型打开了分布式计算的另一扇大门，极大的降低了实现分布式计算的门槛。有了MapReduce架构的支持，开发者只需要把注意力集中在如何使用MapReduce的语义来解决具体的业务逻辑，而不用头疼诸如容错，可扩展性，可靠性等一系列硬骨头。一时间，人们拿着MapReduce这把榔头去敲各种各样的钉子
系统 2019-08-12 01:31:46 2112
一基本概念1并行和并发1并行，parallel同时做某些事，可以互不干扰的同一时刻做几件事如高速公路上的车道，同一时刻，可以有多个互不干扰的车运行在同一时刻，每条车道上可能同时有车辆在跑，是同时发生的概念2并发,concurrency也是同时做某事，但强调的是同一时段做了几件事。并行是可以解决并发问题的。2并发的解决1队列，缓冲区队列：排队就是队列，先进先出，解决了资源使用的问题。缓冲区：排程的队列，其实就是一个缓冲地带，就是缓冲区优先队列：对比较重要的事
系统 2019-09-27 17:57:11 2111
PythonMapMap会将一个函数映射到一个输入列表的所有元素上。Map的规范为：map(function_to_apply,list_of_inputs)大多数时候，我们需要将列表中的所有元素一个个传递给一个函数，并收集输出。例如：items=[1,2,3,4,5]squared=[]foriinitems:squared.append(i**2)使用Map的话，可以让我们以一种更加简便的方法解决这种问题。items=[1,2,3,4,5]square
系统 2019-09-27 17:56:54 2111
有关python的版本和安装以及概念特点可以参考上篇博文，python语言基础此博文主要讨论问题如下：一、python的变量二、python常用的数据类型一、什么是python的变量？变量是计算机内存的一块区域，变量可以存储任何值，而且值可以改变。变量名由字母、数字和下划线组成。需要注意的是，不能使用python的关键字，英文大小写字母敏感，第1个字符必须是字母或下划线，不能是数字，示例代码如下：>>>x=1>>>_x=2>>>print(x)1>>>pr
系统 2019-09-27 17:56:12 2111
生成器在Python中，使用了yield的函数被称为生成器（generator）。生成器是一个返回迭代器的函数，只能用于迭代操作，更简单点理解生成器就是一个迭代器。在调用生成器运行的过程中，每次遇到yield时函数会暂停并保存当前所有的运行信息，返回yield的值,并在下一次执行next()方法时从当前位置继续运行。调用一个生成器函数，返回的是一个迭代器对象。列表推导式空间开销大占用内存耗时大,.生成器保存的是算法，而列表保存的计算后的内容，所以同样内容的
系统 2019-09-27 17:56:08 2111
安装urllib库更适合写爬虫文件，scrapy更适合做爬虫项目。步骤：先更改pip源，国外的太慢了，参考：https://www.jb51.net/article/159167.htm升级pip：python-mpipinstall--upgradepippipinstallwheelpipinstalllxmlpipinstallTwistedpipinstallscrapy常用命令核心目录新建项目：scrapystartprojectmcq运行独立的
系统 2019-09-27 17:55:57 2111
一、ubuntu中使用pip3安装gevent时，提示：cannotimportname'main'问题；二、问题解决：解决pip3使用异常，在python3中可以使用__main__，修改如下：报错中已经提示pip文件路径：/usr/bin/pip3，cd进去，进行修改（需要管理员身份保存修改后文件，sudo执行）源文件出错内容：frompipimportmainif__name__=='__main__':sys.exit(main())修改为：fro
系统 2019-09-27 17:55:31 2111
Python3.6执行pip3installtesserocrpillow，报错：error:MicrosoftVisualC++14.0isrequired.Getitwith"MicrosoftVisualC++BuildTools":http://landinghub.visualstudio.com/visual-cpp-build-tools解决办法：去下方链接下载匹配版本的whl文件https://github.com/simonfluecki
系统 2019-09-27 17:55:28 2111
环境：编辑工具：浏览器：有问题可以联系qq：1776376537安装DDT一分析1导入DDT2类前引入ddt3分三次，作为三个字典把数据传过来二代码#导入包fromseleniumimportwebdriverimportunittestfrompages.login_pageimportLoginPage,lgoing_urlfromcommon.baseimportBaseimportddt'''先思考下手工操作顺序（主要流程）第1个用例：输入admi
系统 2019-09-27 17:54:12 2111
前言如果你从事大数据工作，用Python的Pandas库时会发现很多惊喜。Pandas在数据科学和分析领域扮演越来越重要的角色，尤其是对于从Excel和VBA转向Python的用户。所以，对于数据科学家，数据分析师，数据工程师，Pandas是什么呢？Pandas文档里的对它的介绍是：“快速、灵活、和易于理解的数据结构，以此让处理关系型数据和带有标签的数据时更简单直观。”快速、灵活、简单和直观，这些都是很好的特性。当你构建复杂的数据模型时，不需要再花大量的开
系统 2019-09-27 17:53:41 2111
