视频1 视频21 视频41 视频61 视频文章1 视频文章21 视频文章41 视频文章61 推荐1 推荐3 推荐5 推荐7 推荐9 推荐11 推荐13 推荐15 推荐17 推荐19 推荐21 推荐23 推荐25 推荐27 推荐29 推荐31 推荐33 推荐35 推荐37 推荐39 推荐41 推荐43 推荐45 推荐47 推荐49 关键词1 关键词101 关键词201 关键词301 关键词401 关键词501 关键词601 关键词701 关键词801 关键词901 关键词1001 关键词1101 关键词1201 关键词1301 关键词1401 关键词1501 关键词1601 关键词1701 关键词1801 关键词1901 视频扩展1 视频扩展6 视频扩展11 视频扩展16 文章1 文章201 文章401 文章601 文章801 文章1001 资讯1 资讯501 资讯1001 资讯1501 标签1 标签501 标签1001 关键词1 关键词501 关键词1001 关键词1501 专题2001
Ubuntu14.04安装Hadoop2.5.2(伪分布模式)
2020-11-09 15:50:02 责编:小采
文档


Hadoop也可以运行在一个伪分布模式,每个Hadoop守护进程运行在一个单独的Java程序的一个节点。 伪分布模式需要在单机模式基础上进行配置。 在/software/hadoop/etc/hadoop/ 目录下 core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml等文件。 下面

Hadoop也可以运行在一个伪分布模式,每个Hadoop守护进程运行在一个单独的Java程序的一个节点。

伪分布模式需要在单机模式基础上进行配置。

在/software/hadoop/etc/hadoop/ 目录下
core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml等文件。
下面对以上文件进行配置。

一、etc/hadoop/core-site.xml
包含了hadoop启动时的配置信息。


 
 fs.defaultFS
 hdfs://localhost:9000
 

二、etc/hadoop/hdfs-site.xml
用来配置集群中每台主机都可用,指定主机上作为namenode和datanode的目录。


 
 dfs.replication
 1
 

三、etc/hadoop/mapred-site.xml
默认情况下,/usr/local/hadoop/etc/hadoop/文件夹下有mapred.xml.template文件,我们要复制该文件,并命名为mapred.xml,该文件用于指定MapReduce使用的框架


 
 mapreduce.framework.name
 yarn
 

四、etc/hadoop/yarn-site.xml
包含了MapReduce启动时的配置信息。


 
 yarn.nodemanager.aux-services
 mapreduce_shuffle
 

五、格式化hdfs

 hdfs namenode -format 

只需要执行一次即可,如果在hadoop已经使用后再次执行,会清除掉hdfs上的所有数据。

六、启动Hadoop
经过上文所描述配置和操作后,下面就可以启动这个单节点的集群
执行启动命令:

 sbin/start-dfs.sh 

执行该命令时,如果有yes /no提示,输入yes,回车即可。

接下来,执行:

sbin/start-yarn.sh 

执行完这两个命令后,Hadoop会启动并运行。
执行 jps命令,会看到Hadoop相关的进程。

浏览器打开 http://localhost:50070/,会看到hdfs管理页面。

浏览器打开 http://localhost:8088,会看到hadoop进程管理页面。

七、WordCount验证
dfs上创建input目录

bin/hadoop fs -mkdir -p input

把hadoop目录下的README.txt拷贝到dfs新建的input里

hadoop fs -copyFromLocal README.txt input

运行WordCount

hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.5.2-sources.jar org.apache.hadoop.examples.WordCount input output


执行过程:

运行完毕后,查看单词统计结果

hadoop fs -cat output/*

下载本文
显示全文
专题