Hadoop权威指南学习

发表于 | 分类于

《Hadoop权威指南》

图书官网

Github

第三版Github

Ch02 关于MapReduce

气象数据Sample(已经按年拼成单独文件)

原始数据ftp

原始数据http

2.2

1
2
cd ch02/2.2
sh 2-2.max_tempperature.sh

2.3

1
2
3
4
5
6
7
8
9
10
11
12
cd ch02/2.3
sh run.sh
jar -cvf MaxTemperature.jar ./*.class
jar -tvf MaxTemperature.jar
hadoop fs -ls /user/liqiang
hadoop fs -rm -r /user/liqiang/ncdc
hadoop fs -mkdir -p /user/liqiang/ncdc/input
hadoop fs -put ../data/* /user/liqiang/ncdc/input
在管理平台上添加当前用户的动态资源池
hadoop jar MaxTemperature.jar MaxTemperature /user/liqiang/ncdc/input /user/liqiang/ncdc/output
hadoop fs -ls /user/liqiang/ncdc/output
hadoop fs -cat /user/liqiang/ncdc/output/part-r-00000