Hadoop安装及部署

Hadoop安装及部署

安装CDH

（1）上传CDH压缩文件到CentOS

（2）解压CDH压缩文件

    tar -zxvf 压缩包目录

（3）修改配置文件

①修改hadoop-env.sh

hadoop:   sudo vi hadoop-env.sh

在文件末尾添加

export JAVA_HOME=jdk安装目录

export HADOOP_HOME=cdh安装目录

②修改core-site.xml

     sudo vi etc/hadoop/core-site.xml

     添加：

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://master:8020</value>

   </property>

             <property>

<name>hadoop.tmp.dir</name>

<value>/opt/hdfs/tmp</value>

</property>

</configuration>

③修改hdfs-site.xml

sudo vi etc/hadoop/hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>3</value>

   </property>

             <property>

<name>dfs.name.dir</name>

<value>/opt/hdfs/tmp/dfs/name</value>

</property>

  <property>

<name>dfs.data.dir</name>

<value>/opt/hdfs/tmp/dfs/data</value>

</property>

</configuration>

④修改slaves文件

sudo vi etc/hadoop/slaves

添加：

master

      ⑤追加HADOOP_HOME到/etc/profile中

         sudo vi etc/profile

         添加：

export PATH=$PATH:$HADOOP_HOME/bin

       ⑥使配置文件生效

         source /etc/profile

(4)格式化hdfs

进入到bin目录 执行

hadoop namenode -format (仅第一次执行，不要重复执行)

启动Hadoop并验证安装

进入sbin目录 执行

start-dfs.sh

若权限不够：创建logs目录并添加logs目录的权限

hadoop目录下：sudo mkdir logs

sudo chomd 777 logs/

(5)检验是否启动成功

①通过进程查看 jps

出现：I. 8817 DataNode

      II. 9013 SecondaryNameNodes

      III.9119 jps

      IV. 8714 NameNode

②通过浏览器查看

http://master:50070

(6)停止hadoop

    进入sbin目录 ./stop-dfs.sh