安装和运行 Hadoop 使用 Docker 是一种便捷的方式，特别是当你希望快速搭建一个开发或测试环境时。下面是一个简单的指南，帮助你通过 Docker 安装和运行 Hadoop。

步骤 1: 安装 Docker

确保你的系统上已经安装了 Docker。如果还没有安装，可以访问 Docker官网 按照说明进行安装。

步骤 2: 拉取 Hadoop 镜像

可以从 Docker Hub 上拉取官方或其他被广泛使用的 Hadoop 镜像。例如，sequenceiq/hadoop-docker 是一个流行的 Hadoop 镜像。要拉取这个镜像，请在终端中运行：

docker pull sequenceiq/hadoop-docker:2.7.1

请注意，这里使用了特定的标签 2.7.1，你可以根据需要选择其他版本或者省略标签以获取最新版本（但推荐指定版本以确保环境稳定）。

步骤 3: 运行 Hadoop 容器

拉取完镜像后，可以通过以下命令运行容器：

docker run -it \
    --hostname hadoop-docker \
    --name hadoop-docker \
    -p 8088:8088 \
    -p 50070:50070 \
    -p 50075:50075 \
    sequenceiq/hadoop-docker:2.7.1 /etc/bootstrap.sh -d

解释一下上面的命令：

• -it：交互模式运行容器。
• --hostname hadoop-docker：设置容器内的主机名为 hadoop-docker。
• --name hadoop-docker：为容器指定一个名称，方便管理。
• -p：端口映射，将宿主机的端口与容器内部的端口对应起来。这里映射了几个常用的 Hadoop Web UI 端口。
• /etc/bootstrap.sh -d：这是启动容器后执行的命令，用于启动 Hadoop 服务。

你实际上是在容器内启动了一个 Hadoop 实例，其中包括了 HDFS。你可以通过访问 http://<your-docker-host>:50070 来查看 HDFS 的管理界面（NameNode Web UI），这里 <your-docker-host> 是运行 Docker 容器的主机地址或域名。

进一步验证

为了确保 HDFS 正常工作，你可以进入正在运行的容器内部，并执行一些基本的 HDFS 命令来创建目录、上传文件等。例如：

docker exec -it hadoop-docker bash

然后在容器内执行：

hdfs dfs -mkdir /test
hdfs dfs -put /path/to/local/file /test/
hdfs dfs -ls /

这些命令将帮助你确认 HDFS 是否按预期工作。如果一切正常，你应该能够在 HDFS 中看到你创建的目录和上传的文件。

代码模式

步骤 4: 访问 Hadoop

一旦容器启动并运行，你可以通过浏览器访问 Hadoop 的各种 Web UI 页面来验证是否安装成功：

• ResourceManager Web UI: http://<your-docker-host>:8088
• NameNode Web UI: http://<your-docker-host>:50070
• DataNode Web UI: http://<your-docker-host>:50075

请将 <your-docker-host> 替换为你实际运行 Docker 的机器IP地址或主机名。

注意事项

• 如果你在本地运行 Docker，且没有特别配置网络，通常可以直接使用 localhost 或者 127.0.0.1 来替换 <your-docker-host>。
• 根据具体的 Hadoop 镜像文档，可能还需要额外的配置步骤才能完全适配你的需求。
• 若是想要构建一个更复杂、功能齐全的Hadoop集群，可能需要考虑使用 Docker Compose或者其他编排工具来部署多个相互关联的服务。

问题

[root@zla ~]# docker exec -it hadoop-docker bash bash-4.1# hadoop fs -ls / bash: hadoop: command not found

遇到 bash: hadoop: command not found 错误提示，意味着在尝试运行 hadoop fs -ls / 命令的环境中没有找到 hadoop 命令。这种情况可能有几个原因：

1. 环境变量问题：Hadoop命令可能未添加到容器的环境变量中。
2. 镜像问题：所使用的Docker镜像可能并没有正确配置或安装Hadoop。

针对你使用的是 sequenceiq/hadoop-docker:2.7.1 镜像，按照官方文档或常见实践，进入容器后正确的命令可能是不同的。对于这个特定的镜像，通常需要使用 /usr/local/hadoop/bin/hdfs 而不是直接使用 hadoop 命令。

解决方法

请尝试以下步骤来验证和解决这个问题：

1. 使用完整路径执行 HDFS 命令

尝试使用完整的路径来执行HDFS命令：

/usr/local/hadoop/bin/hdfs dfs -ls /

如果这条命令能够成功运行，说明问题在于环境变量设置不当，导致无法直接通过 hadoop 或 hdfs 命令访问。

2. 检查环境变量

检查 .bashrc 或其他shell初始化文件是否包含了必要的环境变量。可以查看并编辑这些文件以确保包含类似如下内容（具体路径根据实际情况调整）：

export PATH=$PATH:/usr/local/hadoop/bin

之后，重新加载配置文件：

source ~/.bashrc

或者直接在当前shell会话中设置环境变量：

export PATH=$PATH:/usr/local/hadoop/bin

3. 确认 Hadoop 安装

确保Hadoop已经正确安装在容器内。你可以导航至Hadoop目录并列出其内容以确认：

cd /usr/local/hadoop
ls

你应该能看到包括 bin, etc, lib, sbin 等在内的目录，这表明Hadoop已安装。

4. 查阅镜像文档或入口点脚本

有些镜像可能会有自己的启动脚本或特殊的配置要求。查阅该镜像的Docker Hub页面上的文档，了解是否有特定的使用指南或注意事项。

通过上述步骤之一，你应该能解决 hadoop: command not found 的问题，并顺利运行HDFS相关的命令。如果依然存在问题，请提供更多的错误信息或上下文，以便进一步诊断。