hadoop-streaming mapper 使用grep

1
2
3
4
5
6
7
sudo -E -u hdfs /home/work/hadoop/bin/hadoop jar /home/work/hadoop/share/hadoop/tools/lib/hadoop-streaming.jar \
    -D mapreduce.job.priority=HIGH \
    -D mapred.reduce.tasks=0 \
    -D stream.non.zero.exit.is.failure=false \
    -input "/user/hive/test/*" \
    -output "/user/hive/testoutput5" \
    -mapper "grep 'job"

添加 配置stream.non.zero.exit.is.failure=false, grep查找不到 会导致失败

发表评论

邮箱地址不会被公开。 必填项已用*标注