Kafka跨集群容灾备份 PDF 下载

失效链接处理 Kafka跨集群容灾备份 PDF 下载 本站整理下载： 链接： https://pan.baidu.com/s/1yuSQ4C-nE6Wr1wMCoPShJQ 提取码： u6rv 相关截图： 主要内容： Kafka跨集群容灾备份 1、使用场景： 一般情况我们都是使用一套Kafka集群来完成业务，但是有些情况，如一些灾难恢复场景或者为地理相近的客户提供低延时服务场景下，我们会有多套Kafka集群同时工作的需求。这里主要说一下通过镜像工具MirrorMaker实现Kafka的跨集群数据备份 注：我们通常把数据在单个集群下不同节点之间的拷贝称为备份，把数据在集群间的拷贝称为镜像。 2、MirrorMaker架构 A、镜像流程： 从本质上说，MirrorMaker 就是一个消费者 + 生产者的程序。消费者负责从源集群（Source Cluster）消费数据，生产者负责向目标集群（Target Cluster）发送消息。MirrorMaker 连接的源集群和目标集群，会实时同步消息。整个镜像流程如下图所示： B、多套集群间数据备份 下图中部署了三套集群：左边的源集群负责主要的业务处理；右上角的目标集群可以用于执行数据分析；而右下角的目标集群则充当源集群的热备份。 3、MirrorMaker工具使用 Kafka默认提供irrorMaker 命令行工具 kafka-mirror-maker 脚本，执行如下命令即可： $ bin/kafka-mirror-maker.sh --consumer.config ./config/consumer.properties --producer.config ./config/producer.properties --num.streams 8 --whitelist ".*" 参数含义： consumer.config 参数。它指定了 MirrorMaker 中消费者的配置文件地址 producer.config 参数。它指