由于blog各种垃圾评论太多,而且本人审核评论周期较长,所以懒得管理评论了,就把评论功能关闭,有问题可以直接qq骚扰我

2021年11月13日的内容

大数据

streamset 实时同步mysql binlog到kudu

streamset 实时同步mysql binlog到kudu
背景 业务数据库中有一些mysql表,这些表的记录会被增删改,我们的需求是需要吧这些mysql表实时同步到大数据数仓的impala中,作为数仓的维表来进行使用,因此需要实时的反映这些表的变化情况。 StreamSets Data Collector(SDC)是目前最先进的可视化数...

3年前 (2021-11-13) 4601℃ 31喜欢

大数据

Kafka 实现内外网访问流量分离

Kafka 实现内外网访问流量分离
背景 和第三方公司进行数据集成,因为第三方服务和我们不是部署在一个数据中心,所以需要给第三方的程序开放Kafka的公网访问 问题:Kafka 无法同时内外网访问 Kafka 默认只暴露出来一个地址放到zk中,用户请求Kafka的时候,会返回zk中的地址给客户端进行访问,就算做了公...

3年前 (2021-11-13) 2801℃ 2喜欢