Skip to main content
版本：1.2.0

参数列表

在conf目录提供了一个公共配置文件 linkis.properties，避免通用的配置参数需要同时在多个微服务里面配置。本文档将会把参数分模块列举出来。

请注意：本文只给出了 Linkis 所有对运行性能有影响或是环境依赖相关的配置参数，很多无需用户关心的配置参数已略去，如果用户感兴趣，可以翻阅源码查看。

1 通用配置​

通用配置可在全局的linkis.properties当中设置即可，一处设置，各个微服务都可生效。

1.1 全局配置​

参数名默认值描述
wds.linkis.encodingutf-8Linkis默认编码格式
wds.linkis.date.patternyyyy-MM-dd'T'HH:mm:ssZ默认日期格式
wds.linkis.test.modefalse是否打开调试模式，如果设置为 true，所有微服务都支持免密登录，且所有EngineConn打开远程调试端口
wds.linkis.test.user无当wds.linkis.test.mode=true时，免密登录的默认登录用户
wds.linkis.home/appcom/Install/LinkisInstallLinkis 安装目录，如果不存在，会自动获取 LINKIS_HOME的值
wds.linkis.httpclient.default.connect.timeOut50000Linkis HttpClient的默认连接超时时间

1.2 LDAP配置​

参数名默认值描述
wds.linkis.ldap.proxy.url无LDAP URL地址
wds.linkis.ldap.proxy.baseDN无LDAP baseDN地址
wds.linkis.ldap.proxy.userNameFormat无

1.3 Hadoop配置​

参数名默认值描述
wds.linkis.hadoop.root.userhadoopHDFS super 用户
wds.linkis.filesystem.hdfs.root.path无用户的HDFS默认根路径
wds.linkis.keytab.enablefalse是否打开kerberos
wds.linkis.keytab.file/appcom/keytabkerberos的keytab路径，仅wds.linkis.keytab.enable=true时生效
wds.linkis.keytab.host.enabledfalse
wds.linkis.keytab.host127.0.0.1
hadoop.config.dir无如果不配置，将从环境变量 HADOOP_CONF_DIR读取
wds.linkis.hadoop.external.conf.dir.prefix/appcom/config/external-conf/hadoophadoop额外配置

1.4 Linkis RPC配置​

参数名默认值描述
wds.linkis.rpc.broadcast.thread.num10Linkis RPC 广播线程数量（建议采用默认值）
wds.linkis.ms.rpc.sync.timeout60000Linkis RPC Receiver端的默认处理超时时间
wds.linkis.rpc.eureka.client.refresh.interval1sEureka client的微服务列表刷新间隔（建议采用默认值）
wds.linkis.rpc.eureka.client.refresh.wait.time.max1m刷新最大等待时间（建议采用默认值）
wds.linkis.rpc.receiver.asyn.consumer.thread.max10Receiver Consumer最大线程数量（如果在线用户多，建议适当调大该参数）
wds.linkis.rpc.receiver.asyn.consumer.freeTime.max2mReceiver Consumer最大空闲时间
wds.linkis.rpc.receiver.asyn.queue.size.max1000Receiver 消费队列最大缓存数（如果在线用户多，建议适当调大该参数）
wds.linkis.rpc.sender.asyn.consumer.thread.max", 5Sender Consumer最大线程数量
wds.linkis.rpc.sender.asyn.consumer.freeTime.max2mSender Consumer最大空闲时间
wds.linkis.rpc.sender.asyn.queue.size.max300Sender 消费队列最大缓存数

2. 计算治理配置​

2.1 Entrance配置​

参数名默认值描述
wds.linkis.spark.engine.version2.4.3当用户提交脚本没有指定版本时，采用的默认Spark版本
wds.linkis.hive.engine.version1.2.1当用户提交脚本没有指定版本时，采用的默认Hive版本
wds.linkis.python.engine.versionpython2当用户提交脚本没有指定版本时，采用的默认Python版本
wds.linkis.jdbc.engine.version4当用户提交脚本没有指定版本时，采用的默认JDBC版本
wds.linkis.shell.engine.version1当用户提交脚本没有指定版本时，采用的默认Shell版本
wds.linkis.appconn.engine.versionv1当用户提交脚本没有指定版本时，采用的默认AppConn版本
wds.linkis.entrance.scheduler.maxParallelismUsers1000Entrance支持的最大并发用户数
wds.linkis.entrance.job.persist.wait.max5mEntrance等待JobHistory持久化Job的最大时间
wds.linkis.entrance.config.log.path无如果不配置，默认采用wds.linkis.filesystem.hdfs.root.path的值
wds.linkis.default.requestApplication.nameIDE不指定提交系统时的默认提交系统
wds.linkis.default.runTypesql不指定脚本类型时的默认脚本类型
wds.linkis.warn.log.excludeorg.apache,hive.ql,hive.metastore,com.netflix,org.apache默认不向Client端输出的实时WARN级别日志
wds.linkis.log.excludeorg.apache,hive.ql,hive.metastore,com.netflix,org.apache,com.webank默认不向Client端输出的实时INFO级别日志
wds.linkis.instance3用户每个引擎的默认并发Job数
wds.linkis.max.ask.executor.time5m向LinkisManager申请可用EngineConn的最大时间
wds.linkis.hive.special.log.includeorg.apache.hadoop.hive.ql.exec.Task向Client端推送Hive日志时，默认不过滤哪些日志
wds.linkis.spark.special.log.includeorg.apache.linkis.engine.spark.utils.JobProgressUtil向Client端推送Spark日志时，默认不过滤哪些日志
wds.linkis.entrance.shell.danger.check.enabledfalse是否检查并拦截Shell危险语法
wds.linkis.shell.danger.usagerm,sh,find,kill,python,for,source,hdfs,hadoop,spark-sql,spark-submit,pyspark,spark-shell,hive,yarnShell默认的危险语法
wds.linkis.shell.white.usagecd,lsShell白名单语法
wds.linkis.sql.default.limit5000SQL默认的最大返回结果集行数

2.2 EngineConn配置​

参数名默认值描述
wds.linkis.engineconn.resultSet.default.store.pathhdfs:///tmpJob结果集默认存储路径
wds.linkis.engine.resultSet.cache.max0k当结果集大小低于多少时，EngineConn端不落盘直接返回给Entrance
wds.linkis.engine.default.limit5000
wds.linkis.engine.lock.expire.time120000引擎锁的最大空闲时间，即Entrance申请到锁后，多久不向EngineConn提交代码则被释放
wds.linkis.engineconn.ignore.wordsorg.apache.spark.deploy.yarn.ClientEngine向Entrance端推送日志时，默认忽略的日志
wds.linkis.engineconn.pass.wordsorg.apache.hadoop.hive.ql.exec.TaskEngine向Entrance端推送日志时，默认必须推送的日志
wds.linkis.engineconn.heartbeat.time3mEngineConn向LinkisManager的默认心跳间隔
wds.linkis.engineconn.max.free.time1hEngineConn的最大空闲时间

2.3 EngineConnManager配置​

参数名默认值描述
wds.linkis.ecm.memory.max80gECM的最大可启动EngineConn的内存
wds.linkis.ecm.cores.max50ECM的最大可启动EngineConn的CPU个数
wds.linkis.ecm.engineconn.instances.max50最大可启动EngineConn个数，一般建议设置与wds.linkis.ecm.cores.max相同
wds.linkis.ecm.protected.memory4gECM的保护内存，即ECM用于启动EngineConn的内存不能超过 wds.linkis.ecm.memory.max - wds.linkis.ecm.protected.memory
wds.linkis.ecm.protected.cores.max2ECM的保护CPU个数，意义与wds.linkis.ecm.protected.memory相同
wds.linkis.ecm.protected.engine.instances2ECM的保护实例数
wds.linkis.engineconn.wait.callback.pid3s等待EngineConn回传pid的等待时间

2.4 LinkisManager配置​

参数名默认值描述
wds.linkis.manager.am.engine.start.max.time"10mLinkisManager启动一个新EngineConn的最大启动时间
wds.linkis.manager.am.engine.reuse.max.time5mLinkisManager复用一个已有的EngineConn的最大选择时间
wds.linkis.manager.am.engine.reuse.count.limit10LinkisManager复用一个已有的EngineConn的最大轮询次数
wds.linkis.multi.user.engine.typesjdbc,es,prestoLinkisManager在复用一个已有的EngineConn时，哪些引擎的用户不作为复用规则使用
wds.linkis.rm.instance10每个用户在每个引擎的默认最大实例数
wds.linkis.rm.yarnqueue.cores.max150每个用户在每个引擎的使用队列最大核数
wds.linkis.rm.yarnqueue.memory.max450g每个用户在每个引擎的使用队列的最大内存数
wds.linkis.rm.yarnqueue.instance.max30每个用户在每个引擎的队列中最多启动的应用数

3. 各引擎配置​

3.1 JDBC引擎配置​

参数名默认值描述
wds.linkis.jdbc.default.limit5000默认的最大返回结果集行数
wds.linkis.jdbc.support.dbsmysql=>com.mysql.jdbc.Driver,postgresql=>org.postgresql.Driver,oracle=>oracle.jdbc.driver.OracleDriver,hive2=>org.apache.hive.jdbc.HiveDriver,presto=>com.facebook.presto.jdbc.PrestoDriverJDBC引擎支持的驱动
wds.linkis.engineconn.jdbc.concurrent.limit100最大并行SQL执行数

3.2 Python引擎配置​

参数名默认值描述
pythonVersion/appcom/Install/anaconda3/bin/pythonPython命令路径
python.path无指定Python额外的path，该路径只接受共享存储的路径

3.3 Spark引擎配置​

参数名默认值描述
wds.linkis.engine.spark.language-repl.init.time30sScala和Python命令解释器的最大初始化时间
PYSPARK_DRIVER_PYTHONpythonPython命令路径
wds.linkis.server.spark-submitspark-submitspark-submit命令路径

4. PublicEnhancements配置​

4.1 BML配置​

参数名默认值描述
wds.linkis.bml.dws.versionv1Linkis Restful请求的版本号
wds.linkis.bml.auth.token.keyValidation-CodeBML请求的免密token-key
wds.linkis.bml.auth.token.valueBML-AUTHBML请求的免密token-value
wds.linkis.bml.hdfs.prefix/tmp/linkisBML文件存储在hdfs上的前缀文件路径

4.2 Metadata配置​

参数名默认值描述
hadoop.config.dir/appcom/config/hadoop-config如果不存在，则默认采用环境变量HADOOP_CONF_DIR的值
hive.config.dir/appcom/config/hive-config如果不存在，则默认采用环境变量HIVE_CONF_DIR的值
hive.meta.url无HiveMetaStore数据库的URL。如果没有配置hive.config.dir，则该值必须配置
hive.meta.user无HiveMetaStore数据库的user
hive.meta.password无HiveMetaStore数据库的password

4.3 JobHistory配置​

参数名默认值描述
wds.linkis.jobhistory.admin无默认的Admin账号，用于指定哪些用户可以查看所有人的执行历史

4.4 FileSystem配置​

参数名默认值描述
wds.linkis.filesystem.root.pathfile:///tmp/linkis/用户的Linux本地根目录
wds.linkis.filesystem.hdfs.root.pathhdfs:///tmp/用户的HDFS根目录
wds.linkis.workspace.filesystem.hdfsuserrootpath.suffix/linkis/用户的HDFS根目录后的一级前缀，用户实际根目录为：${hdfs.root.path}\${user}\${hdfsuserrootpath.suffix}
wds.linkis.workspace.resultset.download.is.limittrueClient下载结果集时，是否限制下载条数
wds.linkis.workspace.resultset.download.maxsize.csv5000当结果集下载为CSV文件时，限制的下载条数
wds.linkis.workspace.resultset.download.maxsize.excel5000当结果集下载为Excel文件时，限制的下载条数
wds.linkis.workspace.filesystem.get.timeout2000L请求底层文件系统的最大超时时间。（如果您的HDFS或Linux机器性能较低，建议适当调大该查数）

4.5 UDF配置​

参数名默认值描述
wds.linkis.udf.share.path/mnt/bdap/udf共享UDF的存储路径，建议设置为HDFS路径

5. MicroService配置​

5.1 Gateway配置​

参数名默认值描述
wds.linkis.gateway.conf.enable.proxy.userfalse是否开启代理用户模式，如果开启，则登录用户的请求都会代理到代理用户去执行
wds.linkis.gateway.conf.proxy.user.configproxy.properties代理规则的存储文件
wds.linkis.gateway.conf.proxy.user.scan.interval600000代理文件的刷新间隔
wds.linkis.gateway.conf.enable.token.authfalse是否开启Token登录模式，如果开启，则允许以token的方式访问Linkis
wds.linkis.gateway.conf.token.auth.configtoken.propertiesToken规则的存储文件
wds.linkis.gateway.conf.token.auth.scan.interval600000Token文件的刷新间隔
wds.linkis.gateway.conf.url.pass.auth/dws/默认放行、不作登录校验的请求
wds.linkis.gateway.conf.enable.ssofalse是否开启SSO用户登录模式
wds.linkis.gateway.conf.sso.interceptor无如果开启了SSO登录模式，则需要用户实现SSOInterceptor，用于跳转SSO登录页面
wds.linkis.admin.userhadoop管理员用户列表
wds.linkis.login_encrypt.enablefalse用户登录时，密码是否开启RSA加密传输
wds.linkis.enable.gateway.authfalse是否开启Gateway IP白名单机制
wds.linkis.gateway.auth.fileauth.txtIP白名单存储文件

6. 数据源及元数据服务配置​

6.1 元数据服务配置​

引入版本参数名默认值描述
v1.1.0wds.linkis.server.mdm.service.lib.dir/lib/linkis-public-enhancements/linkis-ps-metadatamanager/service设置需要加载数据源jar包的相对路径，会通过反射调用
v1.1.0wds.linkis.server.mdm.service.instance.expire-in-seconds60设置加载子服务的过期时间，超过该时间将不加载该服务
v1.1.0wds.linkis.server.dsm.app.namelinkis-ps-data-source-manager设置获取数据源信息的服务
v1.1.0wds.linkis.server.mdm.service.kerberos.principlehadoop/HOST@EXAMPLE.COMset kerberos principle for linkis-metadata hive service
v1.1.0wds.linkis.server.mdm.service.userhadoop设置hive服务的访问用户
v1.1.0wds.linkis.server.mdm.service.kerberos.krb5.path""设置hive服务使用的kerberos krb5 路径
v1.1.0wds.linkis.server.mdm.service.temp.locationclasspath:/tmp设置kafka与hive的临时路径
v1.1.0wds.linkis.server.mdm.service.sql.drivercom.mysql.jdbc.Driver设置mysql服务的驱动
v1.1.0wds.linkis.server.mdm.service.sql.urljdbc:mysql://%s:%s/%s设置mysql服务的url格式
v1.1.0wds.linkis.server.mdm.service.sql.connect.timeout3000设置mysql服务连接mysql服务的连接超时时间
v1.1.0wds.linkis.server.mdm.service.sql.socket.timeout6000设置mysql服务打开mysql服务的socket超时时间
v1.1.0wds.linkis.server.mdm.service.temp.location/tmp/keytab设置服务的本地临时存储路径，主要是存储从bml物料服务下载的认证文件