hadoop 任务失败重复次数的处理方法

hadoop任务分为map task和reduce task，当map task执行失败后会重试，超过重试次数（mapred.map.max.attempts指定，默认为4），整个job会失败，这是我们不想看到的。

    解决办法：

hadoop提供配置参数“ mapred.max.map.failures.percent”解决这个问题。如果一个Job有 200 个map task，该参数设置为 5 的话，则单个 job最多允许 10 个map task(200 x 5% =10)失败，这是我想要的。

把下面配置放到mapred-site.xml文件中，重启jobtracker（hadoop-daemon.sh stop/start jobtracker ），这下大家满足了吧^_^

          
     Xml代码 
    
              <
            
              property
            
              >
            
              <
            
              name
            
              >
            
            mapred.max.map.failures.percent
            
              </
            
              name
            
              >
            
              <
            
              value
            
              >
            
            5
            
              </
            
              value
            
              >
            
              </
            
              property
            
              >

PS： reduce task有类似配置 mapred.max.reduce.failures.percent

hadoop 任务失败重复次数的处理方法

更多文章、技术交流、商务合作、联系博主

微信扫码或搜索：z360901061

微信扫一扫加我为好友

QQ号联系： 360901061

您的支持是博主写作最大的动力，如果您喜欢我的文章，感觉我的文章对您有帮助，请用微信扫描下面二维码支持博主2元、5元、10元、20元等您想捐的金额吧，狠狠点击下面给点支持吧，站长非常感激您！手机微信长按不能支付解决办法：请将微信支付二维码保存到相册，切换到微信，然后点击微信右上角扫一扫功能，选择支付二维码完成支付。

【本文对您有帮助就好】元

2元

5元

10元

20元

自定义