搜索到与相关的文章
编程技术

MapReduce详解

转载请出自出处:http://eksliang.iteye.com/blog/2228705一.Hadoop1.0中MapReduce的组成1.从功能模块角度客户端:提交MapReduce作业;JobTracker:1.作业调度:将一个作业(Job)分成若干个子任务分发到taskTraker中去执行2.任务监控:TaskTracker发送心跳给JobTracker报告自己的运行状态,以让JobTracker能够监控到他3.资源管理:每个任务向JobTrac

系统 2019-08-12 09:30:36 3487

Hadoop

【Hadoop】利用MultipleOutputs,MultiOutputFor

这是小D第一篇博客,有什么错误还请各位指正。小D也是刚接触Hadoop,因为在淘宝实习,有很多算法要在分布式环境下实现,所以这几天一直在看Hadoop,边用边学。最近实现的一个算法需要reduce输出很多参数,每个参数的格式不一样,而且要做为下一次mapreduce的输入,大家都知道Hadoop的分布式操作系统HFS是以目录为节点读取文件的,每个reduce输出一个分片,所以必须把要输出的文件根据类型的不同输出到不同的目录中去。因为淘宝还在用Hadoop0

系统 2019-08-12 09:29:27 3487

操作系统

PC-BSD 9.1 发布,基于 FreeBSD 9.1

PC-BSD的目标是成为一份基于FreeBSD的易于安装和使用的桌面操作系统。为此,它提供了一份图形化的安装程序,以让即便是UNIX新手也能轻易安装并让它运行起来。它预配置了KDE、视频、音频、网络,这样该桌面立即可用。一份叫PBIs的图形化软件安装程序使得安装预编译好的软件包能像其他流行操作系统中的一样容易。该版本基于FreeBSD9.1,详细内容请看发行说明。下载地址:PCBSD9.1-x86-DVD.iso(3,571MB,SHA256)PCBSD9

系统 2019-08-12 01:32:42 3487

编程技术

JVM Perm方法存储区,后面有一点跑题

在一个jvm实例的内部,类型信息被存储在一个称为方法区的内存逻辑区中。类型信息是由类加载器在类加载时从类文件中提取出来的。类(静态)变量也存储在方法区中如果上面写的是对的,那么在我们静态变量用多了的情况下,就会出现java.lang.OutOfMemoryError:PermGenspace所以那个permSize一直不释放是合理的,因为static变量JVM一般情况下是不会去回收。我刚才看了一下我们状态的所有JAR包也只有一百二十几M,但是为什么我们设年

系统 2019-08-12 09:29:29 3486

各行各业

怎么重新编译CE5.6?

按以下步骤,可以重先编译CE5.6一.准备工作1.CE5.6源码:http://http://www.cheatengine.org/downloads.php2.微软的WDK:http://www.microsoft.com/downloads/details.aspx?displaylang=en&FamilyID=36a2630f-5d56-43b5-b996-7633f2ec14ff3.Delphi7,自己去找了。。。解压CE原码到本地硬盘I盘,目

系统 2019-08-12 09:27:34 3486

Oracle

oracle:rman恢复----通过时间set until time

试验计划:先做一个0级备份,再创建一个表,插入几条数据,最后删除表,然后通过rman把该表的数据恢复。试验环境:在归档模式,oracle10.2.0.1开始试验:1.rmanlevel0备份RMAN>backupincrementallevel0database;Startingbackupat02-DEC-13allocatedchannel:ORA_DISK_1channelORA_DISK_1:sid=154devtype=DISKchannelOR

系统 2019-08-12 01:54:58 3485

编程技术

[cPAMIE] pywintypes.com_error问题

[cPAMIE]pywintypes.com_error问题VersionDateCreatorDescription1.0.0.12007-1-17郑昀草稿继续阅读之前,我们假设您熟悉以下知识:nPython[错误现象1]我们在使用如下代码启动IE浏览器:codeimportcPAMIEg_ie=cPAMIE.PAMIE()g_ie.showDebugging=Falseg_ie.frameName=None并把这个工作任务作为Windows计划任务。一

系统 2019-08-12 01:33:51 3485

Linux

linux蓝牙驱动代码阅读笔记

linux蓝牙驱动代码阅读笔记转载时请注明出处和作者联系方式作者联系方式:李先静昨天看了一下介绍蓝牙协议文档,今天索性对照看了看kernel里的代码(bluez),这里记点笔记,还是继承了老毛病,只关注整体流程而忽略细节,先了解个大概,等真正需要时再仔细分析。net/hci_core.cHCI在主机端的驱动主要是为上层提供一个统一的接口,让上层协议不依赖于具体硬件的实现。HCI在硬件中的固件与HCI在主机

系统 2019-08-12 01:32:41 3485

各行各业

新版FAQ的变化——奖励机制的变化

对FAQ贡献者的奖励,在FAQ被审核通过后,将不再立即给与奖励,而在FAQ被阅读到一定次数,并且FAQ被一定次数的人评价为有用后,才会奖励。FAQ这部分的奖励,主要有两类人:1、FAQ整理者对FAQ整理者的奖励,是FAQ被审核通过,大众可以看到这个FAQ后,并且这个FAQ被阅读次数达到一定数量的时候,同时这个FAQ被一定百分比的人评价为有用后,才给与奖励。并且奖励不是满足这个条件就立即给与奖励的,这个奖励是一个定式程序定时运算的。一般会安排这个程序一个月算

系统 2019-08-12 01:32:34 3485

C++

c++封装Word (比较全了)

小鱼儿C++处女作(vcword操作封装)本人先声明这个程序是参考了汪自军封装类来写的。如果程序对你有所帮助,我将感到很荣幸。。期末到了希望大家都不要挂科哦,反正我只有英语考了,貌似及格没有压力啊。。。。程序代码:#ifndefCMYWORD_H#defineCMYWORD_H#include"msword.h"#include//段落对齐的属性enumAlignment{wdAlignParagraphCenter=1,wdAlig

系统 2019-08-12 09:27:10 3484