【配置】Win10配置Hadoop2.9.2单机版

发表于 分类于 本文字数： 710 阅读时长 ≈ 1 分钟
在Windows10上配置Hadoop2.9.2单机版

一、准备

基本信息

  • 操作系统: Windows10
  • jdk版本: 1.8
  • Hadoop版本: 2.9.2

下载并解压

二、配置

环境变量

  • 新建系统变量 HADOOP_HOME 至所在目录，如 D:\environment\hadoop-2.9.2

    HadoopHOME

  • 在 path 中添加 %HADOOP_HOME%\bin 及 %HADOOP_HOME%\sbin 并以 ; (英文分号)与其他项隔开。

    path

Hadoop配置文件

均在 %HADOOP_HOME%\etc\hadoop\ 下面:

  1. 修改 hadoop-env.cmd ，查找 set JAVA_HOME ，将后面内容改为JDK目录。

    1
    2
    3
    @rem The java implementation to use.  Required.
    @rem set JAVA_HOME=%JAVA_HOME%
    set JAVA_HOME=D:\environment\Java\jdk1.8.0_201

  2. 修改 core-site.xml

    1
    2
    3
    4
    5
    6
    <configuration>
      <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
      </property>
    </configuration>

  3. 修改 hdfs-site.xml

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    <configuration>
      <property>
        <name>dfs.replication</name>
        <value>1</value>
      </property>
      <property>
        <name>dfs.namenode.name.dir</name>
        <value>/D:/environment/hadoop-2.9.2/data/namenode</value>
      </property>
      <property>
        <name>dfs.datanode.data.dir</name>
        <value>/D:/environment/hadoop-2.9.2/data/datanode</value>
      </property>
    </configuration>

  4. 修改 yarn-site.xml

    1
    2
    3
    4
    5
    6
    <configuration>
      <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
      </property>
    </configuration>

winutils

把之前下载的 winutils 解压，找到对应版本，将内容覆盖到 hadoop-2.9.2\bin 中。

格式化namenode

以管理员权限启动命令行，运行 hdfs namenode -format ，这项命令只用在第一次启动前执行。如果结果中看到有 successfully ，说明以上配置成功。

format

三、测试

以管理员权限启动命令行，如果之前没有在 path 中配置 sbin ，那么 cd 至 %HADOOP_HOME%\sbin 中，运行 start-all 启动，出现以下四个窗口：

start

即对应运行 jps 显示以下五个进程名称：

jps

访问 http://localhost:8088 查看集群状态：

8088

访问 http://localhost:50070 查看Hadoop状态：

50070

命令行运行 stop-all 关闭。