跟我一起云计算（1）——storm概述最近要做一个实时分析的项目，所以需要深入一下storm。为什么storm综合下来，有以下几点：1.生逢其时MapReduce计算模型打开了分布式计算的另一扇大门，极大的降低了实现分布式计算的门槛。有了MapReduce架构的支持，开发者只需要把注意力集中在如何使用MapReduce的语义来解决具体的业务逻辑，而不用头疼诸如容错，可扩展性，可靠性等一系列硬骨头。一时间，人们拿着MapReduce这把榔头去敲各种各样的钉子
系统 2019-08-12 01:31:46 2110
一基本概念1并行和并发1并行，parallel同时做某些事，可以互不干扰的同一时刻做几件事如高速公路上的车道，同一时刻，可以有多个互不干扰的车运行在同一时刻，每条车道上可能同时有车辆在跑，是同时发生的概念2并发,concurrency也是同时做某事，但强调的是同一时段做了几件事。并行是可以解决并发问题的。2并发的解决1队列，缓冲区队列：排队就是队列，先进先出，解决了资源使用的问题。缓冲区：排程的队列，其实就是一个缓冲地带，就是缓冲区优先队列：对比较重要的事
系统 2019-09-27 17:57:11 2109
2019-09-1421:15:24今天是学习Python的第四天,也是写博客的第四天今天的内容是有关'列表'、'元组'、'range'的用法列表:增删改查、列表的嵌套元组:元组的嵌套range:range的具体用法好了,进行日常的记录.加油!======我======是======一======条======快======乐======的======分======割======线一.重要知识点1.list(增删改查)列表可以装大量的数据.不限制数据类型.
系统 2019-09-27 17:56:25 2109
Python转义字符在需要在字符中使用特殊字符时，python用反斜杠(\)转义字符。如下表：原始字符串有时我们并不想让转义字符生效，我们只想显示字符串原来的意思，这就要用r和R来定义原始字符串。如：printr'\t\r'实际输出为“\t\r”转义字符描述\(在行尾时)续行符\\反斜杠符号\'单引号\"双引号\a响铃\b退格(Backspace)\e转义\000空\n换行\v纵向制表符\t横向制表符\r回车\f换页\oyy八进制数yy代表的字符，例如：\
系统 2019-09-27 17:56:23 2109
主流开发语言的包管理工具一般都是支持依赖管理的，比如PHP的composer、Java的mvn。对于python来说又该如何管理依赖呢？pip基本用法python还不错，它提供了pip命令来安装依赖，同时pip会自动安装间接依赖，的确是很方便的。安装依赖的命令是pip，举个栗子：pipinstallrequests然后可以看到一些打印信息：Lookinginindexes:http://mirrors.aliyun.com/pypi/simpleRequi
系统 2019-09-27 17:56:22 2109
我们经常需要在后台运行一些python脚本，来监控系统或者做一些其他事情；但是由于各种各样的原因，排除python脚本代码的问题，脚本运行过程中会挂掉。为了不天天耗在上面等重启，可以制作shell脚本对程序予以监控，对于意外中断的程序自动重启。以控制python自动重启的shell脚本为例：cdDesktopvimrun.sh#新建名为run的shell脚本写入（此处以名为run的Python脚本为例）#!/bin/bashwhile[1];dopytho
系统 2019-09-27 17:56:17 2109
本文实例讲述了Python爬虫实现的根据分类爬取豆瓣电影信息功能。分享给大家供大家参考，具体如下：代码的入口：if__name__=='__main__':main()#!/usr/bin/python3#-*-coding:utf-8-*-#author：Sirius.Zhaoimportjsonfromurllib.parseimportquotefromurllib.requestimporturlopenfromurllib.requestimpo
系统 2019-09-27 17:56:14 2109
安装urllib库更适合写爬虫文件，scrapy更适合做爬虫项目。步骤：先更改pip源，国外的太慢了，参考：https://www.jb51.net/article/159167.htm升级pip：python-mpipinstall--upgradepippipinstallwheelpipinstalllxmlpipinstallTwistedpipinstallscrapy常用命令核心目录新建项目：scrapystartprojectmcq运行独立的
系统 2019-09-27 17:55:57 2109
Python设计模式设计模式（DesignPattern）是一套被反复使用、多数人知晓的、经过分类的、代码设计经验的总结。使用设计模式的目的：为了代码可重用性、让代码更容易被他人理解、保证代码可靠性。设计模式使代码编写真正工程化；设计模式是软件工程的基石脉络，如同大厦的结构一样。所有的设计模式示例都是来源于菜鸟教程，每个设计模式的UML都可以在菜鸟教程中找到相应的示例github地址：Python设计模式以工厂模式为例：工厂模式在菜鸟教程中的UML图为工厂
系统 2019-09-27 17:55:35 2109
一、ubuntu中使用pip3安装gevent时，提示：cannotimportname'main'问题；二、问题解决：解决pip3使用异常，在python3中可以使用__main__，修改如下：报错中已经提示pip文件路径：/usr/bin/pip3，cd进去，进行修改（需要管理员身份保存修改后文件，sudo执行）源文件出错内容：frompipimportmainif__name__=='__main__':sys.exit(main())修改为：fro
系统 2019-09-27 17:55:31 2109
