nifi 简介
nifi 是一个数据同步的框架,像是flume和datax可以完成的操作,nifi也可以完成。而且nifi有一个官方提供的web ui,我们所有的操作都可以在web ui上通过方块的形式拖拽来完成,只需要填写相关的参数,就可以实现相对应的功能,方便了相关人员的配置...
2年前 (2023-04-27) 1498℃
0喜欢
TimescaleDB和超表 介绍
Timescaledb是基于PostgreSQL数据库的时序数据库,提供了存储和管理时间序列数据的功能:
超表(Hypertable)是 TimescaleDB 中的核心概念,它实际上就是一张表,但是具有以下特点:
按时间自动分割 into 多...
2年前 (2023-04-08) 2737℃
3喜欢
前言
Flink 提供的Metrics可以在Flink 内部收集一些指标,通过这些指标可以让开发人员更好地理解作业或集群的状态。
但Flink 内置的Metrics更多的是查看任务的实时状态,要是想持久化这些指标,就需要借助于flink-metrics-prometheus,下面...
2年前 (2023-04-05) 1343℃
2喜欢
volatile 介绍
volatile是一个特征修饰符,被volatile修饰的变量能够保证每个线程能够获取该变量的最新值,从而避免出现数据脏读的现象
volatile的两大特性
1、可见性:立即刷新回主内存+失效处理。
2、有序性:禁止指令重排,存在数据依赖关系的禁止重排。
...
2年前 (2023-02-04) 7881℃
1喜欢
JMM介绍
JMM是指JAVA内存模型,JVM是java虚拟机的意思,两者是截然不同的两个东西,他们两个之间的关系类似于雷锋和雷锋塔的关系
JMM(Java内存模型Java Memory Model,简称JMM)本身是一种抽象的概念并不真实存在它仅仅描述的是一组约定或规范,通过...
2年前 (2023-02-04) 1498℃
0喜欢
LockSupport是什么
Lock Support从字面意思直接翻译过来是锁的支撑类,是一个改进类。下面就看一下这个技术为什么会出现,解决了那些老技术不方便不灵活的问题。
官方解释:用于创建锁和其他同步类的基本线程阻塞原语。
核心就是park()和unpark()方法
pa...
2年前 (2023-02-03) 1149℃
0喜欢
SPI 介绍
在进行应用程序开发的时候,经常有这样一类需求,在不修改源代码的情况下,动态的为我们的程序提供一系列特性,比如我们可以为每一个方法在执行前,执行后动态的运算它的执行时间;或者收集jvm、内存、cpu的运行指标等等,像这些灵活扩展的功能该如何实现呢?在springboo...
2年前 (2023-01-29) 1006℃
1喜欢
LRU 算法简介
LRU是Least Recently Used的缩写,即最近最少使用,是一种常用的页面置换算法,选择最近最久未使用的页面予以淘汰
LRU算法的设计原则是:如果一个数据在最近一段时间没有被访问到,那么在将来它被访问的可能性也很小。也就是说,当限定的空间已存满数据时...
2年前 (2023-01-15) 6807℃
2喜欢
介绍
通过API实现双流join有个弊端,就是不管是基于窗口join还是状态join都只支持内连接
Flink这个时候要支持其他连接就需要用到flink sql 进行join了
内连接
内连接:合并具有同一列的两个以上的表的行, 结果集中不包含一个表与另一个表不匹配的行
代码示例...
2年前 (2023-01-15) 5076℃
0喜欢
为什么使用bitmap表
存储成本低
好处一: 如果有一个超大的无序且不重复的整数集合,用Bitmap的存储成本是非常低的。
假设有个1,2,5的数字集合,如果常规的存储方法,要用3个Int32空间。其中一个Int32就是32位的空间。三个就是3*32Bit,相当于12个字节。
...
2年前 (2023-01-14) 2587℃
3喜欢