推广

【Flink 精选】TaskManager 详解 — 架构

iseeyu3年前 (2024-02-21)推广128

TaskManager 架构.jpg

2.TaskManager 的组成模块

TaskManager 包含的模块有JobManager 模块、TaskSlot 管理、资源管理 ResourceManager、心跳检测 HeartbeatManager、存储服务 BlobCacheService。

2.1 TaskSlotTable

题1: TaskSlot 的概念?
答:TaskSlot 任务槽是指运行 Task 的容器,与普通线程的最大区别是每个 Slot 都可以分配到独立的内存。
问题2:TaskSlot 的主要特点?
TaskSlot 具有内存管理、状态等能力,其主要特点是不同 JobVertex 可以共享 Slot。

image.png

TaskSlotTable 是管理 TaskSlot,其生命周期与 TaskManager 保持一致。TaskSlotTable 主要功能有添加和获取 Task、申请和释放 Slot。

2.2 JobLeaderService

JobLeaderService 用于监听 Master。如果 Master 节点改变,会通知 JobLeaderService,内部是以 jobId 为 key 保存 LeaderRetrievalService 和 JobManagerLeaderListener。

2.3 资源管理 ResourceManager

ResourceManager 用于监听 ResourceManager 主节点。如果主节点有变化,会通知 ResourceManagerLeaderRetriever。

2.4 心跳监测 HeartbeatManager

HeartbeatManager 模块包含 JobManagerHeartbeatManager 和 ResourceManagerHeartbeatManager 的心跳检测。
① JobManagerHeartbeatManager 负责检测 JobManager 与 TaskManager 的心跳;
② ResourceManagerHeartbeatManager 负责检测 ResourceManager 与 TaskManager 的心跳。

image.png

2.5 存储服务 BlobCacheService

BlobService 包含 PermanentBlobService 和 TransientBlobService。
① PermanentBlobService:可恢复,数据会上传到 BlobStore 分布式文件系统;
② TransientBlobService:不可恢复,数据不会上传到 BlobStore 分布式文件系统;

BLOB 底层存储,支持多种实现HDFS,S3,FTP等,HA 中使用BlobStore 进行文件的恢复。

扫描二维码推送至手机访问。

版权声明:本文由西安泽虎代运营发布,如需转载请注明出处。

转载请注明出处https://www.0291.com.cn/post/57012.html

相关文章

Facebook动态广告:广告功能、投放技巧

Facebook动态广告:广告功能、投放技巧

  Facebook的动态广告(又名Dynamic Facebook Ads或DPA)通过自动化整个广告投放流程来提供帮助。你可以毫不费力地在Facebook网络上推广整个商品目录,而不必单独创建每个广告。 设置完成后,Facebook会在正确的时间和正确的位置,向更可能对你...

十个营销策划重点,地产人一定要掌握

某著名房地产企业老总说过一句话:一个要取得成功,50%在于地块选择,30%在于规划设计,20%在于销售执行,而前面的80%必须通过后面的20%来实现。 要点之一:树立美国可口可乐公司总裁曾自豪地说:即使该公司在一夜之间灰飞烟灭,他也可以凭借其品牌,在世界任何一家银行贷出款项...

怎样查看拼多多的商家地址?揭秘商家地址查询技巧!

怎样查看拼多多的商家地址?揭秘商家地址查询技巧!

怎样查看拼多多的商家地址?这个问题对于很多拼多多的用户来说,可能并不熟悉。那么在本文中,我将为大家揭秘商家地址查询技巧,让你轻松查看拼多多商家地址! 我们要明确的是,作为消费者,我们有权知道商家的地址信息。这个地址信息可以帮助我们更好地了解商家,也可以在需要时,如退货、换货等情况下,...

点击率高达5%的婚纱摄影广告投放案例 !

点击率高达5%的婚纱摄影广告投放案例 !

近年来,婚纱摄影行业随着从业商户数量越来越多,竞争不断地在加剧,产品、经营模式同质化现象越来越严重。 与此同时,越来越多的90、95后达到适婚年龄,他们不再满足模式化的拍摄,追求个性化、追求品质成为年轻人在选择婚纱摄影品牌时最重要的参考对象。消费者的偏好倒逼婚纱摄影企业不断优化产品结构,...

小红书推广笔记营销攻略 !

小红书推广笔记营销攻略 !

如果你问我哪个平台用户看广告都看的不亦乐乎?那一定就是小红书!小红书从2013年成立到现在,先是做单纯的PGC内容,到如今成为一个以UGC内容为主的生活方式分享平台,实属不易。 从PGC式的单向输出购物攻略到UGC式的海外购物分享社区,众多明星与优质达人的笔记分享,成为业内著名的“种...

关注!南充7个县(市、区)招聘特岗教师

?全南充唯一拥有国家互联网新闻信息采编发布资质的微信公号?南充日报社上百名编辑记者为南充微报提供本地最新专业报道?每天下午6时准时发布6条南充最新热点新闻?新闻、、合作请致电微报妹:18783928567成都、攀枝花、泸州、德阳、绵阳、广元、乐山、南充、宜宾、广安、达州、巴...

现在,非常期待与您的又一次邂逅

我们努力让每一部企业宣传片和抖音短视频成为商业大片