本文共 3431 字，大约阅读时间需要 11 分钟。

计算机开发环境：腾讯云云服务器 CentOS 7.6 64位 root用户

基础环境准备：

1. Hadoop由JAVA开发，安装配置Hadoop之前需要安装配置JDK，可参考。
2. Hadoop监听某些端口，需要将这些端口开放，此处直接关闭防火墙，可参考
3. 配置ssh免密登录，可参考

---

Hadoop下载

访问下载或者键入wget命令下载

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz

Hadoop解压

键入解压命令，路径自定义

tar -zxf hadoop-3.2.1.tar.gz -C ../software

查看目录检验解压文件

配置环境变量

此处直接配置在root用户下

打开root用户根目录下的隐藏文件.bashrc

vim /root/.bashrc

在.bashrc中输入以下设定配置环境变量

# Hadoopexport HADOOP_HOME=/root/software/hadoop-3.2.1 #路径与自定义路径一致export PATH=$HADOOP_HOME/bin:$PATH

使得.bashrc文件修改生效

source /root/.bashrc

查看Hadoop版本

hadoop version

出现类似如下信息表示配置成功

Hadoop运行文件配置

共有五个配置文件需要相关信息设定以支持Hadoop运行

配置文件位于/root/software/hadoop-3.2.1/etc/hadoop，Hadoop根目录下的ect/hadoop

配置文件一：hadoop-env.sh

配置 hadoop 运行时依赖的 java 环境

将JDK路径添加至该文件，与先前JDK环境配置保持一致，随后保存退出

# JDKexport JAVA_HOME=/root/software/jdk-14.0.2 #路径与自定义路径一致

配置文件二：core-site.xml

配置 hadoop 运行过程中临时文件存放的路径及 hdfs 通信方式

将以下代码进行相关修改后粘贴至该文件，随后保存退出

     
        
     
      fs.defaultFS
         
     
      hdfs://sunshine:9000
      
       
      
        
     
      hadoop.tmp.dir
         
     
      /root/software/hadoop-3.2.1/tmp
      
       
    
   

配置文件三：hdfs-site.xml

配置 hdfs 运行时存放的 name 空间元数据和 data 数据块路径

将以下代码进行相关修改后粘贴至该文件，随后保存退出

     
        
     
      dfs.name.dir
         
     
      /root/software/hadoop-3.2.1/tmp/dfs/name
      
       
      
        
     
      dfs.data.dir
         
     
      /root/software/hadoop-3.2.1/tmp/dfs/data
      
       
      
        
     
      dfs.replication
      
         
     
      1
       
    
   

配置文件四：yarn-site.xml

配置 yarn 资源管理相关信息

将以下代码进行相关修改后粘贴至该文件，随后保存退出

     
        
     
      yarn.resourcemanager.hostname
      
         
     
      sunshine
       
      
        
     
      yarn.nodemanager.aux-services
         
     
      mapreduce_shuffle
       
       
        
     
      yarn.nodemanager.vmem-check-enabled
         
     
      false
       
      
        
     
      yarn.nodemanager.vmem-pmem-ratio
         
     
      5