Skip to main content
版本：1.6.0

HBase 引擎使用文档

本文主要介绍在 Linkis 中，HBase 引擎插件的安装、使用和配置。

1. 前置工作​

1.1 引擎验证​

强烈建议您在执行 HBase 任务之前，检查下执行用户的这些环境变量。具体方式是

sudo su - ${username}
echo ${JAVA_HOME}

2. 引擎插件安装​

2.1 引擎插件准备 非默认引擎​

单独编译引擎插件（需要有 maven 环境）

# 编译
cd ${linkis_code_dir}/linkis-engineconn-plugins/hbase/
mvn clean install -DskipTests -Dhbase.profile=1.2|1.4|2.2|2.5

# hbase.profile 支持1.2|1.4|2.2|2.5，对应的HBase版本是1.2.0，1.4.3，2.2.6，2.5.3
# 默认hbase.profile=2.5，按需编译不同HBase版本的插件
# 编译出来的引擎插件包，位于如下目录中
${linkis_code_dir}/linkis-engineconn-plugins/hbase/target/out/

EngineConnPlugin 引擎插件安装

2.2 引擎插件的上传和加载​

将 2.1 中的引擎插件包上传到服务器的引擎目录下

${LINKIS_HOME}/lib/linkis-engineplugins

上传后目录结构如下所示

linkis-engineconn-plugins/
├── hbase
│   ├── dist
│   │   └── 2.5.3
│   │       ├── conf
│   │       └── lib
│   └── plugin
│       └── 2.5.3

2.3 引擎刷新​

2.3.1 重启刷新​

通过重启 linkis-cg-linkismanager 服务刷新引擎

cd ${LINKIS_HOME}/sbin
sh linkis-daemon.sh restart cg-linkismanager

2.3.2 检查引擎是否刷新成功​

可以查看数据库中的 linkis_engine_conn_plugin_bml_resources 这张表的 last_update_time 是否为触发刷新的时间。

#登陆到linkis的数据库 
select * from linkis_cg_engine_conn_plugin_bml_resources;

3. HBase引擎的使用​

Linkis 的 HBase 引擎是通过后台运行一个Jruby环境来执行hbase-shell中的指令，完全兼容hbase-shell的指令。

3.1 通过 Linkis-cli 提交任务​

 sh bin/linkis-cli -engineType hbase-2.5.3 -code "list" \
  -codeType shell -runtimeMap linkis.hbase.zookeeper.quorum=zk1,zk2,zk3

更多 Linkis-Cli 命令参数参考： Linkis-Cli 使用

HBase引擎，支持的连接参数有：

配置名称备注及默认值信息是否必须
linkis.hbase.zookeeper.quorum连接hbase的zk地址，如：zk1,zk2,zk3， 默认值：localhost必须
linkis.hbase.zookeeper.property.clientPort连接hbase的zk端口，默认值：2181非必须，一般就是默认值
linkis.zookeeper.znode.parent连接HBase的zk znode path，默认值：/hbase非必须，一般就是默认值
linkis.hbase.rootdirHBase集群的hdfs根目录，默认值：/hbase非必须，一般就是默认值
linkis.hbase.security.authenticationHBase集群连接的认证方式：simplekerberos，默认值：simple
linkis.hbase.kerberos.principalHBase kerberos认证principal，如：hbase@HADOOP.LINKIS.COMkerberos认证方式下必须
linkis.hbase.keytab.fileHBase kerberos认证所需keytab文件地址，如：/tmp/hbase.keytabkerberos认证方式下必须
linkis.hbase.kerberos.proxy.userkerberos代理用户，需保证kerberos认证用户有代理普通用户的权限非必须，可以不用代理用户
linkis.hbase.regionserver.kerberos.principal如：hbase/_HOST@HADOOP.LINKIS.COM，自行从集群配置文件中获取kerberos认证方式下必须
linkis.hbase.master.kerberos.principal如：hbase/_HOST@HADOOP.LINKIS.COM，自行从集群配置文件中获取kerberos认证方式下必须