Kubernetes Kafka 系列|MirrorMaker 2 同步数据

一、MirrorMaker 2介绍

MirrorMaker 2(简称MM2)是Apache Kafka的一个工具,主要用于跨Kafka集群的数据复制和同步。相比早期的MirrorMaker 1(简称MM1),MirrorMaker 2在设计和功能上有了显著的提升,能够更好地适应生产环境的需求。

首先,MM2采用了并行复制的方式,能够实现高吞吐量的数据复制和同步,使得在大数据场景下也能保持高效性能。这使得MM2成为数据备份、灾难恢复、数据分析和实时处理等多种应用场景下的理想选择。

其次,MM2在数据同步方面具有很高的灵活性。它可以构建不同数据中心的主备两个集群容灾架构,实时同步两个集群的数据。当其中一个集群不可用时,可以将上面的应用程序切换到另一个集群,从而实现异地容灾功能。此外,MM2还可以将多个Kafka子集群的数据同步到一个中心Kafka集群,实现数据的汇聚。

二、mm2部署

Strimzi是一个孵化项目,旨在简化Kubernetes上Apache Kafka的部署。通过一组扩展Kubernetes API的操作符与Kafka交互,Strimzi提供了一种Kubernetes原生方式,以更轻松地在Kubernetes上配置、部署和操作Kafka。
本文简洁使用Strimzi部署mm2
具体含义理解可去官网学习
https://strimzi.io/documentation/

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaMirrorMaker2
metadata:
  name: my-mirror-maker-2
spec:
  version: 3.7.0
  replicas: 1
  connectCluster: "cluster-b" # Must be the target custer
  clusters:
  - alias: "cluster-a" # Source cluster
    bootstrapServers: my-cluster-kafka-bootstrap:9092
  - alias: "cluster-b" # Target cluster
    bootstrapServers: 10.10.101.114:32094
    config:
      # -1 means it will use the default replication factor configured in the broker
      config.storage.replication.factor: -1
      offset.storage.replication.factor: -1
      status.storage.replication.factor: -1
  mirrors:
  - sourceCluster: "cluster-a"
    targetCluster: "cluster-b"
    sourceConnector:
      tasksMax: 1
      config:
        # -1 means it will use the default replication factor configured in the broker
        replication.factor: -1
        offset-syncs.topic.replication.factor: -1
        sync.topic.acls.enabled: "false"
        refresh.topics.interval.seconds: 600   #broker刷新间隔
    checkpointConnector:
      tasksMax: 1
      config:
        # -1 means it will use the default replication factor configured in the broker
        checkpoints.topic.replication.factor: -1
        sync.group.offsets.enabled: "false"
        refresh.groups.interval.seconds: 600
    topicsPattern: ".*"
    groupsPattern: ".*"

后续会更新,关注不迷糊

上一篇:【春季发布】LinkSLA智能运维V6.0发布 聚焦架构升级 新增带外管理


下一篇:C# 循环遍历使用