搭建Hadoop分布式存储系统前的环境设置准备

搭建Hadoop分布式存储系统前的环境设置准备

在配置Hadoop之前，需要在三台虚拟机上完成以下环境设置准备工作：

1. 系统基本配置

  • 主机名设置：为每台虚拟机设置唯一的主机名

    1
    2
    3
    hostnamectl set-hostname master  # 主节点
    hostnamectl set-hostname slave1  # 从节点1
    hostnamectl set-hostname slave2  # 从节点2

  • hosts文件配置：在所有节点上配置IP与主机名的映射

    1
    2
    3
    4
    5
    vi /etc/hosts
    # 添加如下内容（根据实际IP修改）：
    192.168.1.100 master
    192.168.1.101 slave1
    192.168.1.102 slave2

2. 网络配置

  • 关闭防火墙（或配置相应规则）

    1
    2
    systemctl stop firewalld
    systemctl disable firewalld

  • 禁用SELinux

    1
    2
    setenforce 0
    sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

3. SSH无密码登录配置

  • 安装SSH服务（一般已经默认安装）

    1
    yum install -y openssh-server openssh-clients

  • 生成SSH密钥对（在所有节点上执行）

    1
    ssh-keygen -t rsa

  • 配置主节点到从节点的无密码登录

    1
    2
    3
    ssh-copy-id master
    ssh-copy-id slave1
    ssh-copy-id slave2

4. Java环境安装

解压安装步骤（三台虚拟机要同样配置）

  1. 上传压缩包到服务器

    • 将下载的 jdk-8uXXX-linux-x64.tar.gz 文件上传到 Linux 服务器的指定目录，例如 /usr/local/src。

  2. 解压文件
    打开终端，执行以下命令：

    1
    2
    cd /usr/local/src
    tar -zxvf jdk-8uXXX-linux-x64.tar.gz -C /usr/local/
    • -z 表示解压 .gz 文件。
    • -x 表示解压缩。
    • -v 表示显示解压过程。
    • -f 指定文件名。
    • -C 指定解压目标路径。

  3. 配置环境变量
    编辑 /etc/profile 文件：

    1
    sudo nano /etc/profile

    在文件末尾添加以下内容：

    1
    2
    export JAVA_HOME=/usr/local/jdk1.8.0_XXX
    export PATH=$PATH:$JAVA_HOME/bin
    • 替换 jdk1.8.0_XXX 为实际解压后的文件夹名称。

  4. 使配置生效
    执行以下命令：

    1
    source /etc/profile

  5. 验证安装
    运行以下命令检查 Java 版本：

    1
    java -version

    输出类似以下内容，表示安装成功：

    1
    2
    3
    java version "1.8.0_XXX"
    Java(TM) SE Runtime Environment (build 1.8.0_XXX-bXX)
    Java HotSpot(TM) 64-Bit Server VM (build XX.XXX-bXX, mixed mode)

5. 时间同步

  • 安装NTP服务并同步时间
    1
    2
    3
    4
    yum install -y ntp
    systemctl start ntpd
    systemctl enable ntpd
    ntpdate pool.ntp.org

完成以上环境设置后，即可开始Hadoop的安装和配置工作。

[up主专用，视频内嵌代码贴在这]