hadoop组件streaming使用注意

Comments: 2 Comments
Published on: 2012 年 05 月 22 日


关于管道:
不要在streaming里mapper和reducer中使用管道,会出现”java.io.IOException: Broken pipe”错误。

关于程序文件:
如果使用的是非shell命令或者slave机器中没有的命令,都需要手动添加-file参数来分发程序文件。如果mapper和reducer需要分发两个或者更多个程序文件,则直接使用多个-file参数即可。

关于grep:
hadoop streaming -input /user/hadoop/hadoopfile -output /user/hadoop/result -mapper "grep hello" -jobconf mapre.job.name="grep-test" -jobconf stream.non.zero.exit.is.failure=false -jobconf mapred.reduce.tasks=1
说明:
-input  /user/hadoop/hadoopfile : 待处理文件目录
-output /user/hadoop/result   :处理结果存放目录
-mapper "grep hello" :map程序
-jobconf mapre.job.name="grep-test" :任务名
-jobconf stream.non.zero.exit.is.failure=false  : map-reduce程序返回值不做判断;streaming默认的情况下,mapper和reducer的返回值不是0,被认为异常任务,将被再次执行,默认尝试4次都不是0,整个job都将失败。而grep在没有匹配结果时返回1。

-jobconf mapred.reduce.tasks=1 : reduce任务数。 此处也可配置为0,为0配置表示告诉Map/reduce框架不要创建reducer任务

关于awk:
hadoop jar $HADOOP_STREAMING_JAR \
-input /test/ylb/mock_data/cv-pt-demo.txt \
-output /test/ylb/mock_data/output/cv-pt-demo-10 \
-mapper "awk '\$1~/1/ {printf(\"%s\t%s\n\",\$1,\$2)}'" \
-reducer "awk 'BEGIN{pt[\"test_key\"]=0;} {key=\$2/10;pt[key]+=1;} END{ for(k in pt){printf(\"%d\t%d\n\",k,pt[k]);} }'"
-mapper " awk '  '  " , 这种写法的话, ' ' 里面的脚本中有三种字符(shell特殊字符)需要转义,分别是  " ' $ ,这种写法的好处是可以方便的引用外部shell变量
-mapper '  awk " "  '    这种写法则不需要转义

类似的其他命令中需要嵌套单引号双引号也是这样。

关于“脏数据”:

我猜你可能也喜欢:

2 Comments - Leave a comment
  1. hopliu说道:

    很赞,这段时间碰到类似的问题。

Leave a comment

电子邮件地址不会被公开。 必填项已用*标注

You may use these HTML tags and attributes: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>


Welcome , today is 星期二, 2017 年 10 月 24 日