Flink 提交作业的方式

news/2024/7/23 11:05:11 标签: flink, 大数据

首先我进行了flink单机部署,个人建议不管是学习还是开发尽量不使用

然后开始了flink自带集群部署,部署在三台服务器上,资源管理由flink集群自己管理,然后为了解决集群的单点故障问题,使用zookeeper监听事件,实现独立高可用集群,防止集群的单点故障,推荐这种集群可以部署在开发环境中测试使用

最后一种就是flink on yarn: 把资源管理交给yarn实现,计算机资源统一由Haoop YARN管理,推荐部署在生产环境中使用,也算是目前主流的一种部署方式。

然后k8s部署,容器化部署是如今业界流行的一项技术,基于 Docker 镜像运行能够让用户更加方便地对应用进行管理和运维。容器管理工具中最为流行的就是 Kubernetes(k8s),而 Flink 也在最近的版本中支持了 k8s 部署模式

 

如果传递了–detached参数,一旦提交被接受,客户端将停止 :

参考:

Flink运行方式及对比-腾讯云开发者社区-腾讯云

Flink on Yarn模式部署


http://www.niftyadmin.cn/n/5546423.html

相关文章

SpringBoot日常:@Scheduled实现服务启动时执行一次

文章目录 一、Scheduled详解二、逻辑实现1、创建定时任务逻辑方法2、新建一个启动执行类 三、测试结果 说到定时任务,我们应该会想起Scheduled,Quartz以及XXL-JOB,但是有的单体服务或者小项目,为了方便快捷,可能会直接…

Kylin系列(三)安装与配置:搭建你的第一个 Kylin 环境

目录 1. Kylin 简介 1.1 Kylin的核心特点 1.2 适用场景 2. 环境准备 2.1 硬件要求 2.2 软件依赖 3. 安装与配置 3.1 安装JDK 3.2 安装Hadoop 3.2.1 下载并解压Hadoop 3.2.2 配置Hadoop环境变量 3.2.3 配置Hadoop文件 3.2.4 格式化HDFS并启动Hadoop服务 3.3 安装H…

【Mongodb-03】亿级数据从mysql迁移到mongodb辛酸历程

亿级数据从mysql迁移到mongodb辛酸历程 一,亿级数据从mysql迁移到mongodb辛酸历程1,核心业务和前期实现2,分库分表考虑3,nosql的选择4,mongodb服务器购买or自己搭建5,数据从mysq迁移到mongodb5.1&#xff0…

App H5+ 实现下载、查看功能 前后端实现(SpringBoot)

<!doctype html><html><head><meta charset"utf-8"><title>维修指南</title><meta name"viewport" content"widthdevice-width, initial-scale1.0, minimum-scale0, maximum-scale0.85, user-scalableyes&quo…

vue3 插件

富文本插件 wangeditor https://www.wangeditor.com/v5/for-frame.html 官网地址 安装 yarn add wangeditor/editor # 或者 npm install wangeditor/editor --saveyarn add wangeditor/editor-for-vuenext # 或者 npm install wangeditor/editor-for-vuenext --save使用impor…

树莓派学习笔记18:IIC驱动_PCA9685(16路舵机驱动模块)误发

今日继续学习树莓派4B 4G:(Raspberry Pi,简称RPi或RasPi) 本人所用树莓派4B 装载的系统与版本如下: 版本可用命令 (lsb_release -a) 查询: ​ Python 版本3.7.3: ​ IIC驱动_PCA9685(16路舵机驱动模块) 文章提供测试代码讲解,整体代码贴出、测试效果图 目录 开启树莓…

掌握深海引擎,提升页面美感,让您的网站在搜索引擎中脱颖而出

众位同仁&#xff0c;我们既熟悉也是朋友&#xff0c;我是一位执着于独立站SEO研究和实践的人。今日我将带领诸位更深层次地了解深海引擎&#xff0c;并分享如何使您的网站在搜索引擎的汪洋大海中独占鳌头的技巧。无需担忧&#xff0c;此次课程并非高不可攀&#xff0c;而是满满…

YOLO V7项目使用

YOLO V7项目使用 根据官方论文中提供的项目地址&#xff1a;使用git clone将项目下载到本地。 https://github.com/WongKinYiu/yolov7 git clone https://github.com/WongKinYiu/yolov7 使用pycharm打开项目&#xff0c;根据官方提供的requirement.txt文件下载项目启动所需要的…