当前位置:   article > 正文

flink on yarn 模式_flink on yarn模式需要每台yarn机器都有flink么

flink on yarn模式需要每台yarn机器都有flink么

flink on yarn 是有2种模式

flink部署启动有多种方式,可以本地,可以standlone模式(自己启动flink模式),还有看各种调度框架,包括yarn,也是大多数公司常用的方式;
yarn模式部署很简单,只需一台或者多台客户端安装flink即可,无需全部安装,客户端作为启动的客户端,任务会自动分发二进制文件,在yarn去分发执行;

第一种方式 yarn-session模式:

先去yarn去开辟一些资源,就是启动一些资源,然后将flink任务提交到开辟的资源中去,不建议这样,因为开辟的资源始终有限,无法扩容资源,容易任务堵塞,启动任务后,可在yarn的application查看flink web或者日志中会显示ip和端口,也可进行访问webui;
提交命令2个,第一个启动yarn资源,第二个提交一个任务:

启动yarn资源: yarn-session.sh -n 2 -jm 1024 -tm 1024 -d

yarn-session.sh help命令

在这里插入图片描述

-n 2 表示指定两个容器 
-jm 1024 表示jobmanager 1024M内存 
-tm 1024表示taskmanager 1024M内存 
-d 
  • 1
  • 2
  • 3
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/正经夜光杯/article/detail/941729
推荐阅读
相关标签
  

闽ICP备14008679号