视频1 视频21 视频41 视频61 视频文章1 视频文章21 视频文章41 视频文章61 推荐1 推荐3 推荐5 推荐7 推荐9 推荐11 推荐13 推荐15 推荐17 推荐19 推荐21 推荐23 推荐25 推荐27 推荐29 推荐31 推荐33 推荐35 推荐37 推荐39 推荐41 推荐43 推荐45 推荐47 推荐49 关键词1 关键词101 关键词201 关键词301 关键词401 关键词501 关键词601 关键词701 关键词801 关键词901 关键词1001 关键词1101 关键词1201 关键词1301 关键词1401 关键词1501 关键词1601 关键词1701 关键词1801 关键词1901 视频扩展1 视频扩展6 视频扩展11 视频扩展16 文章1 文章201 文章401 文章601 文章801 文章1001 资讯1 资讯501 资讯1001 资讯1501 标签1 标签501 标签1001 关键词1 关键词501 关键词1001 关键词1501 专题2001
Hadoop中运行WordCount
2020-11-09 13:10:31 责编:小采
文档


上一篇文章搭建Hadoop环境的详细过程中已经详细介绍了如何搭建Hadoop环境,今天介绍如何运行Hadoop环境下的第一个实例WordCount。 在伪分布模式下运行一下hadoop自带的例子WordCount来感受以下MapReduce过程:这时注意程序是在文件系统dfs运行的,创建的文件

上一篇文章搭建Hadoop环境的详细过程中已经详细介绍了如何搭建Hadoop环境,今天介绍如何运行Hadoop环境下的第一个实例WordCount。

在伪分布模式下运行一下hadoop自带的例子WordCount来感受以下MapReduce过程:这时注意程序是在文件系统dfs运行的,创建的文件也都基于文件系统:

1、准备需要进行wordcount的文件
首先在”/home/hadoop”目录下创建文件夹”file”。接着创建两个文本文件file1.txt和file2.txt,使file1.txt内容为”Hello world”,而file2.txt的内容为”Hello hadoop”。

2、在HDFS上创建输入文件夹input

hadoop fs -mkdir input 

3、将准备的测试文件上传到dfs文件系统中的input目录下,

hadoop fs -put /home/hadoop/file1.txt input
hadoop fs -put /home/hadoop/file2.txt input

4、运行wordcount

说明:hadoop-0.20.2-examples.jar是Hadoop中自带的实例,Hadoop版本不一样,实例名称可能有区别,大家在目录中自行查看。

hadoop jar hadoop-0.20.2-examples.jar wordcount input outputo

5、查看结果

hadoop dfs -cat outputo/part-r-00000 

6、进入bin目录停止stop-all.sh。

上一篇文章搭建Hadoop环境的详细过程中已经详细介绍了如何搭建Hadoop环境,今天介绍如何运行Hadoop […]

下载本文
显示全文
专题