在linux上部署hadoop-3.3.6，hbase-2.5.6 ，apache-zookeeper-3.8.1集群

爱上雪茄

476人浏览 · 2023-11-12 00:33:23

爱上雪茄 · 2023-11-12 00:33:23 发布

一、hadoop介绍

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hadoop Distributed File System）

二、hbase

HBase是一个分布式、可扩展、支持海量数据存储的NoSQL数据库。底层物理存储是以Key-Value的数据格式存储的，HBase中的所有数据文件都存储在Hadoop HDFS文件系统上。

三、环境配置

1、jdk1.8

2、hadoop-3.3.6

3、hbase-2.5.6

4、zookeeper-3.8.1

四、环境变量配置

export JAVA_HOME=/usr/local/jdk1.8.0_391
export JRE_HOME=/usr/local/jdk1.8.0_391/jre
export HBASE_HOME=/usr/local/bigdata/hbase-2.5.6
#export HBASE_HOME=/usr/local/bigdata/hbase-2.5.6-hadoop3
export FLINK_HOME=/usr/local/bigdata/flink-1.18.0
export SCALA_HOME=/usr/local/bigdata/scala-2.13.12
export HADOOP_HOME=/usr/local/bigdata/hadoop-3.3.6
export SPARK_HOME=/usr/local/bigdata/spark-3.5.0-bin-hadoop3
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAR_HOME/lib
export PATH=.:$JAVA_HOME/bin:$JRE_HOME/bin:$SCALA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SPARK_HOME/bin:$FLINK_HOME/bin:$HBASE_HOME/bin:$PYTHON_HOME/bin:$PATH

五、hadoop配置

5.1、 yarn-site.xml

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>node1</value>
    </property>
    <property>
        <name>yarn.application.classpath</name>
        <value>/usr/local/bigdata/hadoop-3.3.6/etc/hadoop:/usr/local/bigdata/hadoop-3.3.6/share/hadoop/common/lib/*:/usr/local/bigdata/hadoop-3.3.6/share/hadoop/common/*:/usr/local/bigdata/hadoop-3.3.6/share/hadoop/hdfs:/usr/local/bigdata/hadoop-3.3.6/share/hadoop/hdfs/lib/*:/usr/local/bigdata/hadoop-3.3.6/share/hadoop/hdfs/*:/usr/local/bigdata/hadoop-3.3.6/share/hadoop/mapreduce/*:/usr/local/bigdata/hadoop-3.3.6/share/hadoop/yarn:/usr/local/bigdata/hadoop-3.3.6/share/hadoop/yarn/lib/*:/usr/local/bigdata/hadoop-3.3.6/share/hadoop/yarn/*</value>
    </property>

5.2、hdfs-site.xml

 <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///usr/local/bigdata/hadoop-3.3.6/data/namenode</value> //注意前面部分路径修改为自己的
    </property>
    <property>
          <name>dfs.datanode.data.dir</name>
          <value>file:///usr/local/bigdata/hadoop-3.3.6/data/datanode</value> //注意前面部分路径修改为自己的
     </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>node2:9860</value>
    </property>
   <property>
       <name>dfs.ha.automatic-failover.enabled</name>
       <value>false</value>
   </property>
   <property>
        <name>dfs.client.failover.proxy.provider.mycluster</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
   </property>
   <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
  </property>
  <property>
      <name>dfs.permissions.enabled</name>
      <value>false</value>
  </property>
  <property>
      <name>dfs.image.transfer.bandwidthPerSec</name>
      <value>1048576</value>
  </property>
  <property>
      <name>dfs.block.scanner.volume.bytes.per.second</name>
      <value>1048576</value>
  </property>
  <property>
       <name>dfs.datanode.balance.bandwidthPerSec</name>
       <value>20m</value>
   </property>

5.3、core-site.yml

 <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/bigdata/hadoop-3.3.6/data</value> //注意前面部分路径修改为自己的
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node1:9000</value>
    </property>
        <property>
        <name>hadoop.http.authentication.simple.anonymous.allowed</name>
        <value>true</value>
    </property>
    <property>
       <name>hadoop.http.staticuser.user</name>
       <value>root</value>
    </property>
    <property>
       <name>hadoop.proxyuser.root.hosts</name>
       <value>*</value>
   </property>
   <property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
   </property>
   <property>
       <name>io.file.buffer.size</name>
       <value>1048576</value>
       <description>Size of read/write SequenceFiles buffer: 128K</description>
   </property>
   <property>
        <name>ha.zookeeper.quorum</name>
        <value>node1:2181,node2:2181,node3:2181</value>
   </property>
   <property>
        <name>hadoop.zk.address</name>
        <value>node1:2181,node2:2181,node3:2181</value>
   </property>

5.5、mapred-site.xml

 <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
  </property>
  <property>
      <name>mapreduce.jobhistory.address</name>
      <value>node1:10020</value>
  </property>
  <property>
     <name>mapreduce.jobhistory.webapp.address</name>
     <value>node1:19888</value>
  </property>
  <property>
      <name>mapreduce.map.memory.mb</name>
      <value>1024</value>
  </property>
  <property>
     <name>mapreduce.reduce.memory.mb</name>
     <value>2048</value>
  </property>

5.6、workers

node1
node2
node3

六、hadoop启动

http://192.168.42.139:8088/

http://192.168.42.139:9870/

七、hbase配置

7.1、修改hbase-env.sh

export JAVA_HOME=${JAVA_HOME}
export HBASE_LOG_DIR=${HBASE_HOME}/logs
export HBASE_MANAGES_ZK=false

7.2、修改hbase-site.xml

 <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>
  <property>
    <name>hbase.tmp.dir</name>
    <value>hdfs://node1:9000/hbase/tmp</value>  
  </property>
  <property>
     <name>hbase.unsafe.stream.capability.enforce</name>
     <value>false</value>
  </property>
  <property>
     <name>hbase.master.info.port</name>
     <value>16010</value>
  </property>
  <property>
     <name>hbase.zookeeper.property.dataDir</name>
     <value>/usr/local/bigdata/hbase-2.5.6/data/zk</value>
   </property>
   <property>
     <name>hbase.rootdir</name>
      <value>hdfs://node1:9000/hbase</value>
    </property>
    <property> 
        <name>hbase.master</name>
        <value>node1:16010</value>
    </property>
    <property>
      <name>hbase.zookeeper.quorum</name>
      <value>node1:2181,node2:2181,node3:2181</value>
    </property>
    <property>
        <name>hbase.wal.provider</name>
        <value>filesystem</value>
   </property>
   <property>
      <name>hbase.unsafe.stream.capability.enforce</name>
      <value>false</value>
  </property>

7.3、访问hbase

http://192.168.42.139:16010/

腾讯云开发者社区

腾讯云面向开发者汇聚海量精品云计算使用和开发经验，营造开放的云计算技术生态圈。

更多推荐

Elasticsearch复杂数据类型终极指南：从入门到精通

Elasticsearch作为功能强大的搜索引擎，支持多种复杂数据类型，让开发者能够灵活处理各种结构化和非结构化数据。本文将带你全面了解Elasticsearch中的复杂数据类型，从基础概念到实际应用，助你轻松掌握数据建模的核心技巧。## 内部对象：构建层级化数据结构在Elasticsearch中，对象类型（Object）是最基础的复杂数据类型之一，用于表示具有嵌套关系的数据。例如，我们可

腾讯云开发者社区

终极指南：Flink SQL连接器版本管理从混乱到有序的升级之路

Apache Flink作为流处理领域的佼佼者，其SQL连接器的版本管理一直是开发者面临的核心挑战。本文将系统讲解Flink SQL连接器版本管理的最佳实践，帮助你轻松应对版本兼容性问题，实现从混乱到有序的升级之旅。## 连接器版本管理的常见痛点 😫在Flink应用开发中，连接器版本管理常常让开发者头疼不已。不同版本的连接器可能导致各种兼容性问题，例如API变更、功能差异甚至运行时错误。

腾讯云开发者社区

如何快速搭建Neon无服务器PostgreSQL：面向初学者的完整指南

Neon是一款革命性的无服务器PostgreSQL解决方案，它通过分离存储和计算层，实现了自动扩缩容、类代码式数据库分支以及零级扩展能力。本指南将帮助你从零开始搭建Neon开发环境，体验这款创新数据库的强大功能。## 准备工作：环境要求与依赖项在开始搭建Neon环境前，请确保你的系统满足以下要求：- Linux操作系统（推荐Ubuntu 20.04+或Debian 11+）- Git