Hadoop

使用Hadoop MapReduce 进行排序

本文转自:http://www.alidw.com/?p=1420在hadoop中的例子TeraSort,就是一个利用mapredue进行排序的例子。本文参考并简化了这个例子:排序的基本思想是利用了mapreduce的自动排序功能,在hadoop中,从map到reduce阶段,map出来的结构会按照各个key按照hash值分配到各个reduce中,其中,在reduce中所有的key都是有序的了。如果使用一个reduce,那么我们直接将他output出来就行

系统 2019-08-12 09:30:30 3378

Python

2019学习Python的10个原因

如果你经常关注我,那你可能想知道为什么我要写一篇文章来告诉你们学习Python?但是几年前我曾向你们说过Java比Python更具有优势,哦,这就尴尬了,但确实,这几年情况有所改变,在2016年,Python取代Java成为大学最流行的语言,而且它的发展趋势逐渐飙升,从未回首。【python开发学习资料领取方式】:加入python技术学习交流群250933691,点击加入群聊,私信管理员即可免费领取Python正在逐渐成长起来。如果你阅读了编程和技术新闻或

系统 2019-09-27 17:57:34 3377

Python

New Book - Programming in Python 3

Finallygotmyhandsonthebrandnew"ProgramminginPython3-ACompleteIntroductiontothePythonLanguage".AsfarasIknow,thisisthefirstprintbookcoveringPython3.0(Python3000).Aquickskimlookedpromising.NewBook-ProgramminginPython3

系统 2019-08-29 23:44:58 3377

编程技术

开车技术

如何判断车距,这个太实用了一、超车变道时如何判断后车距离:视镜中车影大小与其车距的关系如下:1、车影占后视镜全部——车距为3m;2、车影占后视镜2/3——车距为5m3、车影占后视镜1/2——车距为9m4、车影占后视镜1/3——车距为12m二、堵车跟车时如何判断前车距离:跟车距离一般在2米左右较合适,太近容易造成追尾事故,太远会被其他车辆插入。一般情况下,根据驾驶员从本车前部轮廓线看到前车后保险杠及轮胎的位置来判断:1、看见前车后保险杠上沿——车距为1m;2

系统 2019-08-29 22:13:08 3377

PHP

打开PHP和Apache的错误提示

如果使用PHP+Apache,在缺省设置下,PHP编码错误是不会提示的,这对于开发来说,是很不方便的。可以使用以下步骤打开出错提示:1.打开php.ini文件。以我的ubuntu为例,这个文件在:/etc/php5/apache2目录下。2.搜索并修改下行,把Off值改成Ondisplay_errors=Off3.搜索下行error_reporting=E_ALL&~E_NOTICE或者搜索:error_reporting=E_ALL&~E_DEPRECA

系统 2019-08-29 23:46:04 3376

编程技术

MapReduce详解

转载请出自出处:http://eksliang.iteye.com/blog/2228705一.Hadoop1.0中MapReduce的组成1.从功能模块角度客户端:提交MapReduce作业;JobTracker:1.作业调度:将一个作业(Job)分成若干个子任务分发到taskTraker中去执行2.任务监控:TaskTracker发送心跳给JobTracker报告自己的运行状态,以让JobTracker能够监控到他3.资源管理:每个任务向JobTrac

系统 2019-08-12 09:30:36 3376

Hive

hive 操作

1、命令行操作(1)打印查询头,需要显示设置:sethive.cli.print.header=true;(2)加"--",其后的都被认为是注释,但CLI不解析注释。带有注释的文件只能通过这种方式执行:hive-fscript_name(3)-e后跟带引号的hive指令或者查询,-S去掉多余的输出:hive-S-e"select*FROMmytableLIMIT3">/tmp/myquery(4)遍历所有分区的查询将产生一个巨大的MapReduce作业,如

系统 2019-08-12 09:26:57 3376

Android

Android EditText介绍

一:新建HelloEditText工程新建一个Helloworld详细步骤可以参见Android教程之三:第一个Android应用,HelloWorld创建设置如下:Projectname:HelloEditTextBuildTarget:android2.2Applicationname:HelloEditTextPackagename:com.flysnowcreateActivity:HelloEditTextminSDK8这时候运行还看不到Edit

系统 2019-08-29 22:14:47 3375

编程技术

通过Toad工具查看dmp里面的表

今天有同事要查看dmp里面的表是否有数据,虽然可以把单表数据通过exp导出查看,但还是稍显有点麻烦,要花时间。无意中发现toad工具可以直接查看dmp里面的表数据。第一步:Database-->Export-->ExportfileBrowse第二步:找到dmp文件第三步:查看表内容通过Toad工具查看dmp里面的表

系统 2019-08-12 01:33:45 3375

C++

[c/c++] linux c生成静态库&共享库

静态库libdemo.h1//libdemo.h2#ifndef_LIBDEMO_H3#define_LIBDEMO_H45voiddemo_call(char*msg);67#endiflibdemo.c1//libdemo.c2#include"libdemo.h"3#include45voiddemo_call(char*msg)6{7printf("%s\n",msg);8}编译库文件#编辑成目标文件gcc-clibdemo.c-

系统 2019-08-12 01:33:38 3375

编程技术

JVM Perm方法存储区,后面有一点跑题

在一个jvm实例的内部,类型信息被存储在一个称为方法区的内存逻辑区中。类型信息是由类加载器在类加载时从类文件中提取出来的。类(静态)变量也存储在方法区中如果上面写的是对的,那么在我们静态变量用多了的情况下,就会出现java.lang.OutOfMemoryError:PermGenspace所以那个permSize一直不释放是合理的,因为static变量JVM一般情况下是不会去回收。我刚才看了一下我们状态的所有JAR包也只有一百二十几M,但是为什么我们设年

系统 2019-08-12 09:29:29 3374

C++

Cassandra C++/NodeJs开发环境

工作的需要,开始更多地倾向于去中心化的结构,目前看来Cassandra算是去中心化DB中性能/管理最热门的选择,崇尚其P2P的理念。自身原因对JAVA不擅长(周围写C的好少),还是更热衷于C++/JS,所以把CassandrC++/NODEJS(内网环境下)搭建的过程记录下来,共同好者分享。1,一些条件:VituralBox4.3Win7x64Centos6.4x64_86(来自某国内某镜像网站)thrift-0.9.1.tar.gzopenssl-1.0

系统 2019-08-12 01:33:54 3374

编程技术

开源的数据库连接池 SQL Relay 介绍

开源的数据库连接池SQLRelay介绍author:heiyelurenblog:http://blog.csdn.net/heiyeshuwu概述:SQLRelay是个功能强大并且非常容易使用的持久数据库连接池系统,能够运行在Unix/Linux系统下,能够支持大部分主流的数据库系统和大部分的编程语言,有效的减轻服务器的负载和移植问题,是很多Web应用数据库连接池的一个选择。SQLRelay是适合于Unix/Linux下的一个持久数据库连接池,代理服务器

系统 2019-08-29 23:08:05 3373

编程技术

PPT2010放映方式设置技巧

PPT放映方式设置技巧随意变换浏览方式在默认情况下,在PowerPoint2010中,如果是默认的情况下,那么它的放映方式会按照预设的演讲者放映方式来放映幻灯片,但放映过程需要人工控制,在PowerPoint2010中,还有两种放映方式,一是观众自行浏览,二是展台浏览在默认情况下,在PowerPoint2010中,如果是默认的情况下,那么它的放映方式会按照预设的演讲者放映方式来放映幻灯片,但放映过程需要人工控制,在PowerPoint2010中,还有两种放

系统 2019-08-29 23:06:02 3373

Android

Android - TabHost 选项卡功能用法详解

TabHost效果图:源码下载地址:http://download.csdn.net/detail/han1202012/6845105一.TabHost介绍TabHost组件可以在界面中存放多个选项卡,很多软件都使用了改组件进行设计;1.TabHost常用组件TabWidget:该组件就是TabHost标签页中上部或者下部的按钮,可以点击按钮切换选项卡;TabSpec:代表了选项卡界面,添加一个TabSpec即可添加到TabHost中;--创建选项卡:n

系统 2019-08-29 22:43:49 3373