视频1 视频21 视频41 视频61 视频文章1 视频文章21 视频文章41 视频文章61 推荐1 推荐3 推荐5 推荐7 推荐9 推荐11 推荐13 推荐15 推荐17 推荐19 推荐21 推荐23 推荐25 推荐27 推荐29 推荐31 推荐33 推荐35 推荐37 推荐39 推荐41 推荐43 推荐45 推荐47 推荐49 关键词1 关键词101 关键词201 关键词301 关键词401 关键词501 关键词601 关键词701 关键词801 关键词901 关键词1001 关键词1101 关键词1201 关键词1301 关键词1401 关键词1501 关键词1601 关键词1701 关键词1801 关键词1901 视频扩展1 视频扩展6 视频扩展11 视频扩展16 文章1 文章201 文章401 文章601 文章801 文章1001 资讯1 资讯501 资讯1001 资讯1501 标签1 标签501 标签1001 关键词1 关键词501 关键词1001 关键词1501 专题2001
搭建yarn(hadoop-2.2.0)环境详细过程
2020-11-09 13:07:28 责编:小采
文档


步骤二:配置环境变量

在这里我自己没有将环境全局化所以在hadoop-2.2.0中没有配置系统环境/etc/profile
如果配置,执行执行source /etc/profile,使之生效。

步骤三:core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml配置

接下来我们的具体配置就是/home/hadoop/yarn/hadoop-2.2.0/etc/hadoop目录中进行。

core-site.xml配置


 
 fs.default.name
 hdfs://localhost:9000
 指定NameNode的IP地址和端口号
 

hdfs-site.xml


 
 dfs.replication
 2
 备份数
 
 
 dfs.namenode.name.dir
 file:/home/hadoop/yarn/yarn_data/hdfs/namenode
 
 
 dfs.datanode.data.dir
 file:/home/hadoop/yarn/yarn_data/hdfs/datanode
 

mapred-site.xml


  
 mapreduce.framework.name 
 yarn 
 
 
 mapreduce.jobhistory.address
 localhost:10020
 
 
 mapreduce.jobhistory.webapp.address
 localhost:19888
 
 

yarn-site.xml




  yarn.resourcemanager.address
  localhost:8032


  yarn.resourcemanager.scheduler.address
  localhost:8030


  yarn.resourcemanager.resource-tracker.address
  localhost:8031
 

  yarn.resourcemanager.admin.address
  localhost:8033
 

  yarn.resourcemanager.webapp.address
  localhost:8088
 
 
yarn.nodemanager.aux-services 
mapreduce_shuffle 
 
 
yarn.nodemanager.aux-services.mapreduce.shuffle.class 
org.apache.hadoop.mapred.ShuffleHandler 
 

步骤四:slaves配置

因为是伪分布式,所以我们只有localhost

步骤五:将配置好的hadoop-2.2.0分发同步到各个数据节点

因为是伪分布式,这步跳过。

步骤六:格式化NameNode

执行命令:

bin/hdfs namenode –format

或者

bin/hadoop namenode –format

步骤七:启动hdfs和yarn

启动hdfs:

sbin/start-dfs.sh

启动yarn:

sbin/start-yarn.sh

或者可以执行

sbin/start-all.sh

一起启动hdfs和yarn。

另外还要启动history服务,不然在面板中不能打开history链接。

sbin/mr-jobhistory-daemon.sh start historyserver

下面使用jps命令查看启动进程:

4504 ResourceManager
4066 DataNode
4761 NodeManager
5068 JobHistoryServer
4357 SecondaryNameNode
3833 NameNode
5127 Jps

步骤八:测试

hdfs测试:

在hdfs中创建文件:bin/hadoop fs -mkdir /wordcount
向hdfs中上传文件:bin/hadoop fs /home/hadoop/file2.txt /wordcount
查看hdfs文件目录:hdfs dfs –ls /

Yarn测试: 运行WordCount测试程序,

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /wordcount /output2

具体查看结果:

bin/hadoop fs -cat /output2/*

结果显示:

hadoop 1
hello 2
java 4
jsp 1

到这里,hadoop-2.2.0环境搭建结束,配置文件根据具体需求,具体配置。可能有配置不当的地方,若有看到还望指正。

下载本文
显示全文
专题