2、修改相关信息

本文所使用的虚拟机来自于队友,与队友使用的机器不是同一台,所以需要修改IP和IP映射。假如你也是从其他渠道取到别人配置好的hadoop与zookeeper环境的虚拟机,记得修改哦,否则导致无法连接网络等一系列问题。

2.1修改ip

输入一下命令,进入ifcfg-ens33这个文件修改ip,所有集群都要改。

进入后按以下说明修改:

1.设置IP,要和你电脑的VMnet8的IP在同一个网段。假设VMnet8的IP是192.168.233.1,子网掩码是255.255.255.0,那么你的IP就可以设置192.168.233.3 ~ 192.168.233.254中的任意一个IP。
2.设置子网掩码,和你电脑VMnet8的子网掩码一致
3.设置网关,默认xxx.XXX.XXx.2,网段和VMnet8一致

vi /etc/sysconfig/network-scripts/ifcfg-ens33

在这里插入图片描述
修改完后输入以下命令重启网卡,重启后ping一下外网,能ping通的话就说明成功了。

systemctl restart network

在这里插入图片描述

2.2修改ip映射

输入以下命令,编辑/etc/hosts文件,修改ip映射,所有集群都要改,与前面修改好的ip一致。

vi /etc/hosts

在这里插入图片描述

3、安装与部署

3.1.上传安装包

将hbase-1.4.8.tar.gz上传到虚拟机的/usr/local路径。
在这里插入图片描述

3.2.解压安装包

解压hhbase-1.4.8.tar.gz到当前路径。

tar -xzvf hbase-1.4.8.tar.gz

在这里插入图片描述

3.3.配置HBASE_HOME

3.3.1修改hbase-env.sh

进入hbase-1.4.8/conf/路径下,输入以下命令编辑hbase-env.sh文件,配置JAVA环境变量。

vi hbase-env.sh

在这里插入图片描述

3.3.2修改core-site.xml

输入以下命令编辑hbase-site.xml文件, 配置文件如下,可直接复制。然后根据实际情况进行修改。

以下是几个比较重要的配置信息说明:

hbase.rootdir
这个目录是region server的共享目录,用来持久化HBase。URL需要是’完全正确’的。例如,要表示hdfs中的’/hbase’目录,namenode 运行在namenode.example.org的9090端口。则需要设置为hdfs://namenode.example.org:9000/hbase。默认情况下HBase是写到/tmp的。不改这个配置,数据会在重启的时候丢失。
默认: file:///tmp/hbase-${user.name}/hbase
hbase.master.port
HBase的Master的端口.
默认: 60000

hbase.master.info.port
HBase Master web 界面端口. 设置为-1 意味着你不想让他运行。
0.98 版本以后默认: 16010 以前是 60010

hbase.cluster.distributed
HBase的运行模式。false是单机模式,true是分布式模式。若为false,HBase和Zookeeper会运行在同一个JVM里面。

hbase.zookeeper.quorum
Zookeeper集群的地址列表,用逗号分割。例如:“host1.mydomain.com,host2.mydomain.com,host3.mydomain.com”.默认是localhost,是给伪分布式用的。要修改才能在完全分布式的情况下使用。如果在hbase-env.sh设置了HBASE_MANAGES_ZK,这些ZooKeeper节点就会和HBase一起启动。

<configuration>
 <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>

  <property>
    <name>hbase:zookeeper.property.dataDir</name>
    <value></value>
  </property>

<property>
        <name>hbase.zookeeper.quorum</name>
         <value>master,slave1,slave2</value>
 </property>


  <property>
    <name>hbase.master.maxclockskew</name>
    <value>180000</value>
  </property>


<property>
     <name>dfs.replication</name>
       <value>2</value>
 </property>


<property>
        <name>hbase.rootdir</name>
         <value>hdfs://master:8020/hbase</value>
 </property>

<property>
<name>hbase.unsafe.stream.capability.enforce</name>
<value>flase</value>
</property>

<property>
                <name>hbase.master.info.port</name>
                <value>16010</value>
</property>
<property>
  <name>hbase.unsafe.stream.capability.enforce</name>
  <value>false</value>
</property>

</configuration>

3.3.3修改/etc/profile
用以下命令进入/etc/profile文件,编辑hbase的环境变量,然后使用source方法使profile文件生效。

vi /etc/profile

source /etc/profile

在这里插入图片描述

3.3.4拷贝文件

使用scp方法,拷贝hbase-1.4.8文件到其他两个集群的/us/local/下。其中,@后面的参数是集群的名称,冒号后面的参数是目标路径。

scp -r hbase-1.4.8 root@slave1:/usr/local

在这里插入图片描述

4、启动

启动habse时,由于hbase依赖于hdfs和zookeeper,所以要先启动hadoop和zookeeper,然后再启动hbase。

4.1启动zookeeper

先使用以下命令对所有集群启动zookeeper,然后使用catjps查看所有集群的进程。看到QuorumPeerMain进程表示启动成功了。

zkServer.sh start

在这里插入图片描述

4.2启动hdfs

使用以下两条命令启动hdfs进程和yarn服务。

start-dfs.sh 

start-yarn.sh

启动hadoop后,进入web端查看是否启动成功,顺便检查HV有无问题。
在这里插入图片描述

4.3启动hbase

以上操作都没问题后,我们就来启动hbase。输入以下命令启动。

然后我们使用catjps查看进程时发现,没有相关的进程在,并没有启动成功,先别急,看下一个章节。(假如是把我的配置文件全部复制去配置,也许到这一步可以启动成功了)

start-hbase.sh

在这里插入图片描述

5、问题详情及解决方式

5.1.启动报错

进入hbase配置文件路径,编辑hbase-env.sh配置文件,然后把以下圈起来的两行给注释掉,就不会报错了。

在这里插入图片描述

5.2.启动后只有一个相关进程

启动成功后,HMater进程却不在,这个进程非常重要,不可以忽视

需要在配置文件hbase-site.xml中添加以下信息。需要添加的信息在3.3.2步骤中,已经给出了,可直接复制。
在这里插入图片描述
在这里插入图片描述

5.3.启动成功了,但是HMster掉线了

好不容易搭好了,启动hbase后,发现进程也都在了。
在这里插入图片描述
迫不及待的去web端查看详情,然后发现打不开,被拒绝连接了。

在这里插入图片描述
然后又回去查看进程,发现HMaster掉线了

在这里插入图片描述

出现这样的问题有很多种情况,这里主要介绍以下三种可能,可查看日志(hbase的日志文件在安装路径的log文件夹下),可根据实际情况逐一排查。

5.3.1.防火墙设置

可输入以下命令进行查看防火墙状态,假如未关闭则需要设置成关闭的状态。

systemctl start firewalld#开启

systemctl stop firewalld#关闭


想要方便一点的可以输入一下命令,防止防火墙自开启,这样就不需要每次都查看防火墙的状态了。

systemctl disable firewalld

5.3.2.时间同步

假如说防火墙是关闭的,但问题暂时没有解决。可根据以下方法继续修改。

1.安装ntpdate工具,网上同步时间
2.设置系统时间与网络时间同步

sudo apt-get install ntpdate

sudo apt-get install ntpdate

5.3.3.hdfs与hbase端口号一致

如果按照步骤做了以上两个步骤还是没有解决,就继续跟着排查吧。在配置文件hbase-site.xml中hbase.rootdir这一项需要和core-site.xml中的fs.defaultFS的地址保持一致,因为这一步是去hdfs上创建hbase的指定文件夹,8020是namenode节点active状态下的端口号,9000端口是fileSystem默认的端口号。由于hdfs的队友搭建的,我们之间缺乏沟通,我的core-site.xml里写的9000,hdfs的端口号是8202,所以启动成功后又挂掉了,导致web端打不开。经过沟通处理后,终于成功了,这就是分组的意义吧,合作沟通。

自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

深知大多数大数据工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年大数据全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
img
img
img
img
img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上大数据开发知识点,真正体系化!

由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新

如果你觉得这些内容对你有帮助,可以添加VX:vip204888 (备注大数据获取)
img

一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

JXfJbjr-1712996763196)]
[外链图片转存中…(img-isAh2g9G-1712996763196)]

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上大数据开发知识点,真正体系化!

由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新

如果你觉得这些内容对你有帮助,可以添加VX:vip204888 (备注大数据获取)
[外链图片转存中…(img-a93gUF9k-1712996763196)]

一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐