幻煞幽穹
0%

Hadoop3.3.2 on Windows10

发表于 更新于 分类于

Hadoop3.3.2 on Windows10

简介

在windows系统上进行hadoop相关开发，不需要高可用，仅用作开发调试还是很方便的。

环境

hadoop: 3.3.2
jdk: 1.8
winutils 3.3.x 和 hadoop.dll: https://github.com/kontext-tech/winutils/tree/master/hadoop-3.3.1/bin

实测3.3.1的winutils可以适配3.3.2的hadoop版本。本机3.2.2hadoop在启动datanode时会失败。

安装和配置步骤

下载解压hadoop，假设解压到D:\PortableSoftware\hadoop-3.3.2
下载对应版本的winutils.exe和hadoop.dll复制到D:\PortableSoftware\hadoop-3.3.2\bin

  1. JAVA_HOME,如果你的java安装路径是含有”Program Files”, 使用Progra~1代替”Program Files”，或使用Progra~2 代替 “Program Files(x86)”
  2. HADOOP_HOME
  3. PATH变量加入%JAVA_HOME%\bin;%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin
  4. 检查： 新开cmd窗口，输入hadoop -version
  5. 配置%HADOOP_HOME%\etc\hadoop\hdfs-site.xml
  6. 配置%HADOOP_HOME%\etc\hadoop\core-site.xml
  7. 配置%HADOOP_HOME%\etc\hadoop\mapred-site.xml
  8. 配置%HADOOP_HOME%\etc\hadoop\yarn-site.xml
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    <!-- hdfs-site.xml -->
    <configuration>
      <property>
        <name>dfs.replication</name>
        <value>1</value>
        </property>
      <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///D:/PortableSoftware/hadoop-3.3.2/data/dfs/namenode</value>
      </property>
      <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///D:/PortableSoftware/hadoop-3.3.2/data/dfs/datanode</value>
      </property>
      <property>
        <name>dfs.permissions</name>
        <value>false</value>
      </property>
    </configuration>
    1
    2
    3
    4
    5
    6
    7
    <!-- core-site.xml -->
    <configuration>
      <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9820</value>
      </property>
    </configuration>
    1
    2
    3
    4
    5
    6
    7
    8
    <!-- mapred-site.xml -->
    <configuration>
      <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
        <description>MapReduce framework name</description>
      </property>
    </configuration>
    1
    2
    3
    4
    5
    6
    7
    8
    <!-- yarn-site.xml -->
    <configuration>
      <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
        <description>Yarn Node Manager Aux Service</description>
      </property>
    </configuration>

试验：

hadoop version

启动HDFS

第一次使用需要hdfs namenode -format

启动:

start-dfs.cmd

停止:

stop-dfs.cmd

访问：

http://localhost:9870/

相关文章