Flink HistoryServer用途
HistoryServer可以在Flink 作业终止运行（Flink集群关闭）之后，还可以查询已完成作业的统计信息。此外，它对外提供了 REST API，它接受 HTTP 请求并使用 JSON 数据进行响应。Flink 任务停止后，Jo...
2年前 (2023-05-29) 2028℃
4喜欢
简介
无论是我们自己开发的系统，还是各种中间件，高可用部署可以避免单点故障，是生产运行的必备要求。对于flink作业也一样，我们开发好的flink 作业，部署到生产环境，也需要高可用的方式来运行。
Flink的高可用，指的就是job manager的高可用，默认情况下，每个 Fl...
2年前 (2023-05-29) 6143℃
2喜欢
简介
大家都知道，Flink 是一个有状态的分布式流式计算引擎，flink 中的每个function或者是operator都可以是有状态的，为了使得状态可以容错，flink引入了checkpoint机制。checkpoint使得flink能够恢复作业的状态和位置，从而为作业提供与...
2年前 (2023-05-29) 2535℃
3喜欢
简介
之前部署了flink operator，并将spark 作业提交到了k8s之上，但是也仅仅达到了能用的程度，距离生产落地还有一些内容需要调整。
Flink 作业日志持久化
当flink运行出错的时候，或者我们要分析flink运行状态的时候，运行日志是我们排查问题的重要依据。...
2年前 (2023-05-29) 111℃
6喜欢
简介
Flink Kubernetes Operator是一个用于在Kubernetes集群上部署、管理和自动化运行Apache Flink应用程序的开源项目。它提供了一种简单、可靠且可扩展的方式来部署和管理Flink作业，同时实现高可用性和容错性。
Flink Kubernet...
2年前 (2023-05-29) 2280℃
2喜欢
简介
Iceberg 的优势有以下几点：
1、增量数据更新：Iceberg 可以支持增量数据更新，而不是全量数据覆盖，从而减少了数据更新的时间和成本。
2、事务管理：Iceberg 支持事务管理，可以确保数据的一致性和可靠性。
3、版本管理：Iceberg 支持版本管理，可以方便...
2年前 (2023-04-28) 5002℃
1喜欢
简介
nifi 是一个数据同步的框架，像是flume和datax可以完成的操作，nifi都可以完成，本文展示了两个nifi的实际案例，来学习nifi的使用。
案例一：使用nifi离线同步mysql数据到hdfs，模拟datax的常用场景
案例二：使用nifi实时监控Kafka数据...
2年前 (2023-04-27) 1487℃
1喜欢
nifi 简介
nifi 是一个数据同步的框架，像是flume和datax可以完成的操作，nifi也可以完成。而且nifi有一个官方提供的web ui，我们所有的操作都可以在web ui上通过方块的形式拖拽来完成，只需要填写相关的参数，就可以实现相对应的功能，方便了相关人员的配置...
2年前 (2023-04-27) 1589℃
0喜欢
TimescaleDB和超表 介绍
Timescaledb是基于PostgreSQL数据库的时序数据库，提供了存储和管理时间序列数据的功能：
超表(Hypertable)是 TimescaleDB 中的核心概念,它实际上就是一张表,但是具有以下特点:
按时间自动分割 into 多...
2年前 (2023-04-08) 2841℃
3喜欢
介绍
通过API实现双流join有个弊端，就是不管是基于窗口join还是状态join都只支持内连接
Flink这个时候要支持其他连接就需要用到flink sql 进行join了
内连接
内连接：合并具有同一列的两个以上的表的行, 结果集中不包含一个表与另一个表不匹配的行
代码示例...
2年前 (2023-01-15) 5144℃
0喜欢
