由于blog各种垃圾评论太多,而且本人审核评论周期较长,所以懒得管理评论了,就把评论功能关闭,有问题可以直接qq骚扰我

2023年04月的内容

大数据

Iceberg和spark集成笔记

Iceberg和spark集成笔记
简介 Iceberg 的优势有以下几点: 1、增量数据更新:Iceberg 可以支持增量数据更新,而不是全量数据覆盖,从而减少了数据更新的时间和成本。 2、事务管理:Iceberg 支持事务管理,可以确保数据的一致性和可靠性。 3、版本管理:Iceberg 支持版本管理,可以方便...

2年前 (2023-04-28) 4796℃ 1喜欢

大数据

nifi 的两个案例实操

nifi 的两个案例实操
简介 nifi 是一个数据同步的框架,像是flume和datax可以完成的操作,nifi都可以完成,本文展示了两个nifi的实际案例,来学习nifi的使用。 案例一:使用nifi离线同步mysql数据到hdfs,模拟datax的常用场景 案例二:使用nifi实时监控Kafka数据...

2年前 (2023-04-27) 1340℃ 1喜欢

大数据

nifi 集群部署1.21 版本

nifi 集群部署1.21 版本
nifi 简介 nifi 是一个数据同步的框架,像是flume和datax可以完成的操作,nifi也可以完成。而且nifi有一个官方提供的web ui,我们所有的操作都可以在web ui上通过方块的形式拖拽来完成,只需要填写相关的参数,就可以实现相对应的功能,方便了相关人员的配置...

2年前 (2023-04-27) 1501℃ 0喜欢

大数据

TimescaleDB时序数据库超表维护

TimescaleDB时序数据库超表维护
TimescaleDB和超表 介绍 Timescaledb是基于PostgreSQL数据库的时序数据库,提供了存储和管理时间序列数据的功能: 超表(Hypertable)是 TimescaleDB 中的核心概念,它实际上就是一张表,但是具有以下特点: 按时间自动分割 into 多...

2年前 (2023-04-08) 2742℃ 3喜欢

大数据

prometheus监控flink

prometheus监控flink
前言 Flink 提供的Metrics可以在Flink 内部收集一些指标,通过这些指标可以让开发人员更好地理解作业或集群的状态。 但Flink 内置的Metrics更多的是查看任务的实时状态,要是想持久化这些指标,就需要借助于flink-metrics-prometheus,下面...

2年前 (2023-04-05) 1345℃ 2喜欢