Skip to main content

2 篇博文 含有标签「engine

View All Tags

· 3 分钟阅读
Casion

本文主要指引大家如何下载每个版本对应的非默认引擎安装插件包。

考虑到发布包的大小和大家使用插件的情况,linkis发布的二进制安装包中只包含了部分常用引擎/hive/spark/python/shell, 非常用引擎,项目代码中有对应的模块flink/io_file/pipeline/sqoop(不同版本之间可能有区别), 为了方便大家使用,基于linkis每个版本的release分支代码: https://github.com/apache/linkis, 编译出这部分引擎,供大家选择使用。

下载链接

linkis版本包含的引擎引擎物料包下载链接
1.5.0jdbc
pipeline
io_file
flink
openlookeng
sqoop
presto
elasticsearch
trino
impala
1.5.0-engineconn-plugin.tar
1.4.0jdbc
pipeline
io_file
flink
openlookeng
sqoop
presto
elasticsearch
trino
impala
1.4.0-engineconn-plugin.tar
1.3.2jdbc
pipeline
io_file
flink
openlookeng
sqoop
presto
elasticsearch
trino
seatunnel
1.3.2-engineconn-plugin.tar
1.3.1jdbc
pipeline
io_file
flink
openlookeng
sqoop
presto
elasticsearch
trino
seatunnel
1.3.1-engineconn-plugin.tar
1.3.0jdbc
pipeline
io_file
flink
openlookeng
sqoop
presto
elasticsearch
1.3.0-engineconn-plugin.tar
1.2.0jdbc
pipeline
flink
openlookeng
sqoop
presto
elasticsearch
1.2.0-engineconn-plugin.tar
1.1.3jdbc
pipeline
flink
openlookeng
sqoop
1.1.3-engineconn-plugin.tar
1.1.2jdbc
pipeline
flink
openlookeng
sqoop
1.1.2-engineconn-plugin.tar
1.1.1jdbc
pipeline
flink
openlookeng
1.1.1-engineconn-plugin.tar
1.1.0jdbc
pipeline
flink
1.1.0-engineconn-plugin.tar
1.0.3jdbc
pipeline
flink
1.0.3-engineconn-plugin.tar

引擎类型

引擎名支持底层组件版本
(默认依赖版本)
Linkis 版本要求是否默认包含在发布包中说明
SparkApache 2.0.0~2.4.7,
CDH >= 5.4.0,
(默认Apache Spark 2.4.3)
>=1.0.3Spark EngineConn, 支持SQL, Scala, Pyspark 和R 代码
HiveApache >= 1.0.0,
CDH >= 5.4.0,
(默认Apache Hive 2.3.3)
>=1.0.3Hive EngineConn, 支持HiveQL 代码
PythonPython >= 2.6,
(默认Python2*)
>=1.0.3Python EngineConn, 支持python 代码
ShellBash >= 2.0>=1.0.3Shell EngineConn, 支持Bash shell 代码
JDBCMySQL >= 5.0, Hive >=1.2.1,
(默认Hive-jdbc 2.3.4)
>=1.0.3JDBC EngineConn, 已支持Mysql,Oracle,KingBase,PostgreSQL,SqlServer,DB2,Greenplum,DM,Doris,ClickHouse,TiDB,Starrocks,GaussDB和OceanBase, 可快速扩展支持其他有JDBC Driver 包的引擎, 如SQLite
FlinkFlink >= 1.12.2,
(默认Apache Flink 1.12.2)
>=1.0.2Flink EngineConn, 支持FlinkSQL 代码,也支持以Flink Jar 形式启动一个新的Yarn 应用程序
Pipeline->=1.0.2Pipeline EngineConn, 支持文件的导入和导出
openLooKengopenLooKeng >= 1.5.0,
(默认openLookEng 1.5.0)
>=1.1.1openLooKeng EngineConn, 支持用Sql查询数据虚拟化引擎openLooKeng
SqoopSqoop >= 1.4.6,
(默认Apache Sqoop 1.4.6)
>=1.1.2Sqoop EngineConn, 支持 数据迁移工具 Sqoop 引擎
PrestoPresto >= 0.180>=1.2.0Presto EngineConn, 支持Presto SQL 代码
ElasticSearchElasticSearch >=6.0>=1.2.0ElasticSearch EngineConn, 支持SQL 和DSL 代码
TrinoTrino >=371>=1.3.1Trino EngineConn, 支持Trino SQL 代码
SeatunnelSeatunnel >=2.1.2>=1.3.1Seatunnel EngineConn, 支持Seatunnel SQL 代码

安装引擎指引

下载引擎的物料包后,解压包

tar -xvf  1.0.3-engineconn-plugin.tar
cd 1.0.3-engineconn-plugin

将需要要使用的引擎物料包拷贝至linkis的引擎插件目录,然后刷新引擎物料即可

详细流程参考安装 EngineConnPlugin 引擎

· 4 分钟阅读
Peacewong

概述

openLooKeng是一种"开箱即用"的引擎,支持在任何地点(包括地理上的远程数据源)对任何数据进行原位分析。它通过SQL 2003接口提供了所有数据的全局视图。openLooKeng具有高可用性、自动伸缩、内置缓存和索引支持,为企业工作负载提供了所需的可靠性。

openLooKeng用于支持数据探索、即席查询和批处理,具有100+毫秒至分钟级的近实时时延,而无需移动数据。openLooKeng还支持层次化部署,使地理上远程的openLooKeng集群能够参与相同的查询。利用其跨区域查询计划优化能力,涉及远程数据的查询可以达到接近“本地”的性能。 Linkis实现openLooKeng引擎可以让Linkis拥有数据虚拟化的能力,支持提交跨源异构查询、跨域跨DC查询型任务。Linkis作为计算中间件通过利用openLooKeng的连接器基于Linkis的EngineConn的连通通能力可以做到连接更多的底层计算存储组件。

开发实现方式

openLooKeng ec的实现基于Linkis的EngineConn Plugin(ECP)进行扩展,因为OpengLooKeng服务支持多用户通过Client进行查询,所以实现模式为采用多用户并发引擎的实现模式。 也就是多个用户提交的任务,可以同时在一个EC进程里面进行运行,可以极大的复用EC资源,减少资源浪费。具体类图如下:

【缺图】

具体实现为openLooKengEngineConnExecutor继承于ConcurrentComputationExecutor,支持多用户多任务并发,并且支持对接到多个不同的openLooKeng集群。

架构

架构图: image

任务流转图如下: image

基于Linkis和openLooKeng的能力可以提供如下能力:

  • 1.基于Linkis的计算中间件层的连接能力可以让上层应用工具快速对接使用openLooKeng,提交任务,并获取日志、进度、结果。
  • 2.基于Linkis的公共服务能力可以做到对openLooKeng的sql完成自定义变量替换、UDF管理等
  • 3.基于Linkis的上下文能力可以打通OpengLooKeng的结果传递给下游Spark、Hive等EC进行查询
  • 4.基于Linkis的资源管控和多租户能力可以将任务进行租户隔离和openLooKeng资源的使用
  • 5.基于OpengLooKeng的连接器能力上层应用工具可以做到完成提交跨源异构查询、跨域跨DC查询型任务,并获得秒级返回。

后续计划

后续两个社区将继续进行合作,计划推出以下功能:

  • 1.Linkis支持openLooKeng on Yarn模式
  • 2.Linkis完成对openLooKeng的资源管控,任务可以现在Linkis进行排队,资源足够才进行提交
  • 3.基于openLooKeng的混算能力优化Linkis Orchestrator的能力去完成后续计划的EC间的混算能力。