简介
我们在实际使用flink的过程中,不仅使用java开发flink作业,同时也会直接使用flink SQL,通过编写SQL的方式,来实现flink作业。本文就基于Flink 官方提供的 Kubernetes Operator,来实现flink sql在k8s上的运行。
程序功...
2年前 (2023-05-29) 2025℃
2喜欢
Flink HistoryServer用途
HistoryServer可以在Flink 作业终止运行(Flink集群关闭)之后,还可以查询已完成作业的统计信息。此外,它对外提供了 REST API,它接受 HTTP 请求并使用 JSON 数据进行响应。Flink 任务停止后,Jo...
2年前 (2023-05-29) 1944℃
4喜欢
简介
无论是我们自己开发的系统,还是各种中间件,高可用部署可以避免单点故障,是生产运行的必备要求。对于flink作业也一样,我们开发好的flink 作业,部署到生产环境,也需要高可用的方式来运行。
Flink的高可用,指的就是job manager的高可用,默认情况下,每个 Fl...
2年前 (2023-05-29) 6014℃
2喜欢
简介
大家都知道,Flink 是一个有状态的分布式流式计算引擎,flink 中的每个function或者是operator都可以是有状态的,为了使得状态可以容错,flink引入了checkpoint机制。checkpoint使得flink能够恢复作业的状态和位置,从而为作业提供与...
2年前 (2023-05-29) 2450℃
3喜欢
简介
之前部署了flink operator,并将spark 作业提交到了k8s之上,但是也仅仅达到了能用的程度,距离生产落地还有一些内容需要调整。
Flink 作业日志持久化
当flink运行出错的时候,或者我们要分析flink运行状态的时候,运行日志是我们排查问题的重要依据。...
2年前 (2023-05-29) 42℃
6喜欢
简介
Flink Kubernetes Operator是一个用于在Kubernetes集群上部署、管理和自动化运行Apache Flink应用程序的开源项目。它提供了一种简单、可靠且可扩展的方式来部署和管理Flink作业,同时实现高可用性和容错性。
Flink Kubernet...
2年前 (2023-05-29) 2132℃
2喜欢
简介
上一批文章写了,基于CPU指标的弹性伸缩,资源指标只包含CPU、内存,一般来说也够了。但如果想根据自定义指标:如请求qps/5xx错误数来实现HPA,就需要使用自定义指标了,目前比较成熟的实现是 Prometheus Custom Metrics。自定义指标由Prometh...
4年前 (2020-11-24) 6558℃
0喜欢
前言
前两天,一台xenserver 服务器在扩容内存重启后无法远程登陆,还好可以通过idrac远程连接,但是xenserver的急救模式和centos进入方式略有不同,这里简单记录一下xenserver进入急救模式的方法。
进入急救模式
(1)服务器启动的时候,进入到菜单引导页...
6年前 (2019-01-04) 4666℃
1喜欢
前言
最近在kvm虚拟机安装windows系统,碰到虚拟机中的鼠标指针和实体机鼠标指针不重合,解决方法在此记录一下。
解决方法
编辑虚拟机配置文件,在input中添加如下配置,添加完成之后重启虚拟机即可解决问题。
[root@kvm-3 ~]# virsh edit window...
8年前 (2017-02-12) 11524℃
0喜欢
kvm简单介绍
Kernel-based Virtual Machine的简称,是一个开源的系统虚拟化模块,自Linux 2.6.20之后集成在Linux的各个主要发行版本中。它使用Linux自身的调度器进行管理,所以相对于Xen,其核心源码很少。KVM目前已成>为学术界的...
9年前 (2015-12-12) 11728℃
4喜欢