简介
nifi 是一个数据同步的框架，像是flume和datax可以完成的操作，nifi都可以完成，本文展示了两个nifi的实际案例，来学习nifi的使用。
案例一：使用nifi离线同步mysql数据到hdfs，模拟datax的常用场景
案例二：使用nifi实时监控Kafka数据...
2年前 (2023-04-27) 1339℃
1喜欢
纠删码介绍
HDFS默认情况下，一个文件有3个副本，这样提高了数据的可靠性，但也带来了2倍的冗余开销。Hadoop3.x引入了纠删码，通过计算生成数据单元+计算单元的存储的方式，可以节省约50％左右的存储空间，这种存储方式同样也可以容忍集群中最多出现两台服务器同时宕机（注意：不同...
2年前 (2022-10-15) 1020℃
0喜欢
前言
通常情况下，我们将日志数据通过logstash收集到es，然后用kibana进行实时查询，可视化分析，这就是我们常用的elk架构。但是基于elk的日志分析，通常比较常用的是实时分析，日志存储一段时间就会删掉。那么在一些情况下，我需要将日志数据也存储一份到hdfs用来做大数据...
6年前 (2018-07-17) 12560℃
3喜欢
