搜索到与相关的文章
编程技术

MultipleOutputFormat和MultipleOutputs

文章出处:http://www.cnblogs.com/liangzh/archive/2012/05/22/2512264.htmlMultipleOutputFormat和MultipleOutputs一,介绍1,旧API中有org.apache.hadoop.mapred.lib.MultipleOutputFormat和org.apache.hadoop.mapred.lib.MultipleOutputsMultipleOutputFormata

系统 2019-08-29 22:09:30 3145

编程技术

两个数组合并,去掉重复的然后再排序

标题是我面试的时候使用的一道题目,结果是是使用最笨的方式——使用便利,但是面试官教我使用Set这个类在网上找了这么一张表,可以看看自己做的一个小demo可以参考packagehb.array_unite_collate;importjava.util.ArrayList;importjava.util.Arrays;importjava.util.HashSet;importjava.util.Iterator;importjava.util.Set;pu

系统 2019-08-29 22:01:35 3145

Hive

hive 优化

Hive是将符合SQL语法的字符串解析生成可以在Hadoop上执行的MapReduce的工具。使用Hive尽量按照分布式计算的一些特点来设计sql,和传统关系型数据库有区别,所以需要去掉原有关系型数据库下开发的一些固有思维。基本原则:1:尽量尽早地过滤数据,减少每个阶段的数据量,对于分区表要加分区,同时只选择需要使用到的字段select...fromAjoinBonA.key=B.keywhereA.userid>10andB.userid<10andA.

系统 2019-08-12 09:26:44 3145

各行各业

gnome-ssh-askpass:No such file or directory

1、使用git的时候,gnome-ssh-askpass出现“error:cannotrun/usr/libexec/openssh/gnome-ssh-askpass:Nosuchfileordirectory”错误:shenweiyan@localhost17:05:20~=>gitpushoriginmastererror:cannotrun/usr/libexec/openssh/gnome-ssh-askpass:Nosuchfileordire

系统 2019-08-12 09:26:43 3145

Oracle

一次oracle大量数据删除经历

oracle有个数据表现在已经有2500万条数据了,软件用到这个表的数据时就变的特别慢,所以准备把一个月以前的数据全部清除。我的步骤是(下边操作都是在plsql中运行的)1、首先将这个月的数据导出到一个临时表中(这些数据是自己希望保留的)createtabletempTableasselectid,namefromtable1wheresj>to_date('2013-7-3123:59:59','yyyy-mm-ddhh24:mi:ss');2、然后将2

系统 2019-08-12 01:55:01 3145

Python

Python Socket传输图片

我们在传输数据时,经常使用tcp/ip的服务器和客户端模型,很多设备也经常将网口作为硬件接口预留出来。可以使用tcp/ip传输图像、大的文件等,如果图片过大,还会进行拆分传输,接收方根据对应协议进行解包。解包过程中可能会出现tcp粘包现象,所以要根据对应特性进行拆包。本次给大家分享一个小的python传输图像的例子,由于数据量不大,没有粘包的现象,以后会给大家分享一个Qt下使用tcp/ip根据对应协议解析图片的例子。一般在发送图片数据之前会先将图片的大小等

系统 2019-09-27 17:52:17 3143

Python

在PyCharm的 Terminal(终端)切换Python版本的方法

在我的电脑中存在多个版本的Python,实际工作中也时常需要切换Python版本来进行相关工作。在Pycharm的终端中使用python和ipython命令进入的pythonshell都是环境变量中,也就是默认的python版本。每次在PyCharm软件中Terminal窗口或者在cmd命令行界面中,执行python命令,启动的都是python3的交互界面:在PyCharm软件中Terminal窗口中,输入python优先进入环境变量中的python3.6

系统 2019-09-27 17:52:13 3143

各行各业

Orcas Beta1 对多个同名扩展方法的处理逻辑

扩展方法是一个双刃剑,你如果要用扩展方法,就一定得准备碰到别人也用扩展方法,并且万一出现你们都对同一个类进行扩展函数名,参数一样的扩展时候,会出的各种问题.说明:以下测试是基于OrcasBeta1环境的测试,VS2008正式版发布后,也许会发生变化。如果你对扩展方法不是很熟悉,建议先看我之前的两篇博客:C#3.0中的扩展方法(ExtensionMethods)C#3.0中使用扩展方法来扩展接口如果我们项目中,在不经意期间,出现了重名的扩展方法,这时候编译器

系统 2019-08-12 01:31:51 3143