加入收藏 | 设为首页 | 会员中心 | 我要投稿 济南站长网 (https://www.0531zz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 服务器 > 安全 > 正文

Azkaban3.81.x部署过程及遇到的坑

发布时间:2020-05-12 12:45:18 所属栏目:安全 来源:站长网
导读:副标题#e# Azkaban是什么? Azkaban是由Linkedin公司推出的一个批量工作流任务调度器,主要用于在一个工作流内以一个特定的顺序运行一组工作和流程,它的配置是通过简单的key:value对的方式,通过配置中的dependencies 来设置依赖关系,这个依赖关系必须是

log4j.rootLogger=INFO, Console log4j.logger.azkaban=INFO, server log4j.appender.server=org.apache.log4j.RollingFileAppender log4j.appender.server.layout=org.apache.log4j.PatternLayout log4j.appender.server.File=logs/azkaban-webserver.log log4j.appender.server.layout.ConversionPattern=%d{yyyy/MM/dd HH:mm:ss.SSS Z} %p [%c{1}] [Azkaban] %m%n log4j.appender.server.MaxFileSize=102400MB log4j.appender.server.MaxBackupIndex=2 log4j.appender.Console=org.apache.log4j.ConsoleAppender log4j.appender.Console.layout=org.apache.log4j.PatternLayout log4j.appender.Console.layout.ConversionPattern=%d{yyyy/MM/dd HH:mm:ss.SSS Z} %p [%c{1}] [Azkaban] %m%n

  添加管理员用户:

# sudo vim azkaban-users.xml <azkaban-users> <user groups="azkaban" password="azkaban" roles="admin" username="azkaban"/> <user password="metrics" roles="metrics" username="metrics"/> <user username="admin" password="admin" roles="admin,metrics" /> <role permissions="ADMIN"/> <role permissions="METRICS"/> </azkaban-users>

2.4部署 azkaban-exec-server

# cd /mnt/addDisk1/BigData/azkaban # sudo cp -r ./azkaban-solo-server/conf/ ./azkaban-exec-server/ # cd ./azkaban-exec-server/conf

  配置azkaban.properties:

# sudo vim azkaban.properties #Azkaban default.timezone.id=Asia/Shanghai #时区 # Azkaban JobTypes 插件配置 azkaban.jobtype.plugin.dir=plugins/jobtypes #jobtype 插件所在位置 #Loader for projects executor.global.properties=conf/global.properties azkaban.project.dir=projects #数据库设置 database.type=mysql #数据库类型(目前只支持mysql) mysql.port=3306 #数据库端口号 mysql.host=localhost #数据库IP地址 mysql.database=azkaban #数据库实例名 mysql.user=azkaba #数据库用户名 mysql.password=azkaba #数据库密码 mysql.numconnections=100 #最大连接数 # 执行服务器配置 executor.maxThreads=50 #最大线程数 executor.port=12321 #端口号(如修改,请与web服务中一致) executor.flow.threads=30 #线程数

  在azkaban-exec-server和azkaban-web-server安装目录下创建extlib目录,将lib目录下的mysql-connector-java-5.1.28.jar包拷备这extlib目录:

# cd /mnt/addDisk1/BigData/azkaban # sudo cp ./azkaban-web-server/lib/mysql-connector-java-5.1.28.jar ./azkaban-web-server/extlib/ # sudo cp ./azkaban-exec-server/lib/mysql-connector-java-5.1.28.jar ./azkaban-exec-server/extlib/

2.5启动web-server和exec-server

# ./azkaban-exec-server/bin/start-exec.sh # ./azkaban-web-server/bin/start-web.sh

2.6访问https://ip:8443打开azkaban的web页面

2.7 测试

三、遇到的问题

3.1、 找到guava-*.jar包版本过低,但在/lib/下的是0.21版本,不低了,根据排除可知找到系统中版本过低的而使用。

2019/12/20 14:25:34.573 +0800 ERROR [StdOutErrRedirect] [Azkaban] Exception in thread "main" 2019/12/20 14:25:34.574 +0800 ERROR [StdOutErrRedirect] [Azkaban] java.lang.NoSuchMethodError: com.google.common.collect.ImmutableMap.toImmutableMap(Ljava/util/function/Function;Ljava/util/function/Function;)Ljava/util/stream/Collector; 2019/12/20 14:25:34.574 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.Status.<clinit>(Status.java:40) 2019/12/20 14:25:34.575 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.FetchActiveFlowDao$FetchActiveExecutableFlows.<clinit>(FetchActiveFlowDao.java:177) 2019/12/20 14:25:34.575 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.FetchActiveFlowDao.fetchActiveFlows(FetchActiveFlowDao.java:148) 2019/12/20 14:25:34.575 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.JdbcExecutorLoader.fetchActiveFlows(JdbcExecutorLoader.java:102) 2019/12/20 14:25:34.575 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.ExecutorManager.loadRunningExecutions(ExecutorManager.java:384) 2019/12/20 14:25:34.576 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.ExecutorManager.initialize(ExecutorManager.java:136) 2019/12/20 14:25:34.576 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.ExecutorManager.start(ExecutorManager.java:149) 2019/12/20 14:25:34.576 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.webapp.AzkabanWebServer.launch(AzkabanWebServer.java:231) 2019/12/20 14:25:34.576 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.webapp.AzkabanWebServer.main(AzkabanWebServer.java:224)

解决方案:https://www.jb51.net/article/185901.htm

# vim /mnt/addDisk1/BigData/azkaban/azkaban-web-server/bin/internal/internal-start-web.sh

将如下: for file in $azkaban_dir/lib/*.jar; do CLASSPATH=$CLASSPATH:$file done 改为: for file in $azkaban_dir/lib/*.jar; do CLASSPATH=$file:$CLASSPATH done

# vim /mnt/addDisk1/BigData/azkaban/azkaban-exec-server/bin/internal/internal-start-executor.sh

将如下: for file in $azkaban_dir/lib/*.jar; do CLASSPATH=$CLASSPATH:$file done 改为: for file in $azkaban_dir/lib/*.jar; do CLASSPATH=$file:$CLASSPATH done

3.2解决executor非active的问题

解决方案:

1)

# cd ./azkaban/azkaban-exec-server/ # curl -G "localhost:$(<./executor.port)/executor?action=activate" && echo

2)也可以通过在MySQL中修改:https://www.jb51.net/article/185900.htm

到此这篇关于Azkaban3.81.x部署过程及遇到的坑的文章就介绍到这了,更多相关Azkaban3.81.x部署内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

(编辑:济南站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!