视频1 视频21 视频41 视频61 视频文章1 视频文章21 视频文章41 视频文章61 推荐1 推荐3 推荐5 推荐7 推荐9 推荐11 推荐13 推荐15 推荐17 推荐19 推荐21 推荐23 推荐25 推荐27 推荐29 推荐31 推荐33 推荐35 推荐37 推荐39 推荐41 推荐43 推荐45 推荐47 推荐49 关键词1 关键词101 关键词201 关键词301 关键词401 关键词501 关键词601 关键词701 关键词801 关键词901 关键词1001 关键词1101 关键词1201 关键词1301 关键词1401 关键词1501 关键词1601 关键词1701 关键词1801 关键词1901 视频扩展1 视频扩展6 视频扩展11 视频扩展16 文章1 文章201 文章401 文章601 文章801 文章1001 资讯1 资讯501 资讯1001 资讯1501 标签1 标签501 标签1001 关键词1 关键词501 关键词1001 关键词1501 专题2001
Hadoop集群安装
2025-09-28 20:08:34 责编:小OO
文档
(Java私塾)Hadoop集群安装

第一部分:环境规划

•用户 test 密码 test

•机器

   主机名

IP角色
bigdata-1

 

172.16.206.205NameNode JobTraker

Sencondary NameNode

bigdata-2

 

172.16.206.231DataNode TaskTracker
•NameNode元数据目录

•/home/test/dfs/namenode

•DataNode 数据存放目录

•/home/test/dfs/datanode

•Sencondary NameNode

•/home/test/dfs/sencondnode

            

           

第二部分:安装JDK并配置环境变量

安装 JDK 并配置环境变量

 

•2 台机器做同样的事情

•更改执行权限

•chmod +x jdk-6u24-linux-i586.bin

•安装

•./jdk-6u24-linux-i586.bin

•配置环境变量

•Home路径下,打开.bashrc文件,命令如下

•vi .bashrc

•添加JAVA环境变量

•export JAVA_HOME=/home/hadoop/java

•export PATH=$JAVA_HOME/bin:$PATH

 

 

第三部分:建立互信配置SSH

配置互信

每台机器上执行

$ ssh-keygen

$ ssh-copy-id   -i   ~/.ssh/id_rsa.pub   bigdata -1

$ ssh-copy-id   -i   ~/.ssh/id_rsa.pub   bigdata-2

             

      

第四部分:安装Hadoop并配置环境变量

安装并配置Hadoop的环境变量

•解压Hadoop,到/home/test路径下

• tar zxvf hadoop-1.0.0.tar.gz

•建立软连接

•ln –s   hadoop-1.0.0  hadoop

•配置环境变量

•vi  .bashrc

•添加如下内容

          export HADOOP_CORE_HOME=/home/test/ hadoop

          export PATH=.:$HADOOP_CORE_HOME/bin:$PATH

 

 

第五部分:配置Hadoop集群

core-site.xml

fs.default.name

hdfs://bigdata-1:9000

fs.checkpoint.dir

        /home/test/dfs/sencondnode

hdfs-site.xml

            dfs.name.dir

     /home/test/dfs/namenode

             dfs.data.dir

             >/home/test/dfs/datanode

      dfs.replication

        1

  

mapred-site.xml

  mapred.job.tracker

  bigdata-1:9001

master与slaves

•master

     文件添加内容如下

                   bigdata-1

•    Slaves

     文件添加内容如下

                    bigdata-2

Hadoop-env.sh

•export JAVA_HOME=/home/tes/soft/java

 

第六部分:启动Hadoop集群

启动Hadoop集群

•hadoop namenode -format

•start-all.sh

•start-dfs.sh start-mapred.sh

•hadoop-deamon.sh start  namenode

                                              datanode

                                              jobtracker

                                              tasktracker

                                              sencondnamenode

  

第七部分:测试WordCount 程序 

测试WordCount 程序

•hadoop fs –mkdir input

•hadoop fs –put test.txt input

•hadoop jar  hadoop-examples-*.jar   wordcount  input output下载本文

显示全文
专题