Spring Boot + Spring Kafka配置公网接入阿里云Kafka

2021-12-28 01:29:48

场景说明

今天接到的一个任务是做公网接入阿里云的kafka。不推荐通过公网访问。

由于通过公网问，需要配置为客户端接入配置SASL_SSL的鉴权，设置证书，协议，访问模式的账号密码等参数。

自己的应用采用的是spring boot + spring kafka来接入kafka。

因此，在配置上需要做一些适配和调整。

官方文档

https://help.aliyun.com/knowledge_detail/99958.html

原生的配置，主要有几个点：

在控制台下载ssl证书 ---- kafka.client.truststore.jks，放在机器的某个路径上，不要跟着应用打包
构建 kafka_client_jaas.conf，它包含着登录模式，登录用账号密码等的信息，账号密码信息在控制台上能找到。将应用启动参数java.security.auth.login.config设置为kafka_client_jaas.conf的绝对路径，可以通过代码或者启动参数设置。

注意： spring boot配置中可以不需要的这个kafka_client_jaas.conf，它通过读取application.yaml中的配置生成了一个，设置到应用中，具体见下。

根证书是有密码，阿里云kafka证书统一的解析密码为KafkaOnsClient。
接入协议为SASL_SSL, 鉴权方式为PLAIN。

配置适配

由于采用spring boot + spring kafka来接入kafka，配置的时候需要做一下适配调整。

spring boot读取kafka属性的类为org.springframework.boot.autoconfigure.kafka.KafkaProperties，其中也包含有SSL, JAAS的配置项，这些是我们需要配置的。

当然也有一些额外的配置，需要通过通用的properties给设置进去，让spring读取到，转换成kafka-client的配置。

SSL

主要是设置证书文件的绝对路径和证书解密密码。

这里是分别都为producer, consumer设置ssl的参数

JAAS

主要是配置属性，然后构建一个类似kafka_client_jaas.conf的文件，设置到应用中，最终的实质也仍然是将生成的文件路径设置给java.security.auth.login.config这个应用变量。

spring:
  kafka:
    jaas:
      enabled: true
      loginModule: org.apache.kafka.common.security.plain.PlainLoginModule
      controlFlag: REQUIRED
      options:
        username: aliyun-kafka-username
        password: aliyun-kafka-password
      ...

其中各个属性的值可以对照阿里云官方接入文档中kafka_client_jaas.conf文件内容进行配置

额外参数

通过producer, consumer的properties属性可以添加额外自定义的属性，这里主要设置了

sasl.mechanism: PLAIN
security.protocol: SASL_SSL

配置例子

spring:
  kafka:
    bootstrap-servers: kafka-server1, kafka-server2, kafka-server3
    jaas:
      enabled: true
      loginModule: org.apache.kafka.common.security.plain.PlainLoginModule
      options:
        username: aliyun-kafka-username
        password: aliyun-kafka-password
    consumer:
      ssl:
        truststorePassword: KafkaOnsClient
        truststoreLocation: file:/etc/kafka/kafka.client.truststore.jks
      properties:
        sasl.mechanism: PLAIN
        security.protocol: SASL_SSL
      group-id: consumer-group
      max-poll-records: 2
    producer:
      ssl:
        truststorePassword: KafkaOnsClient
        truststoreLocation: file:/etc/kafka/kafka.client.truststore.jks
      retries: 3
      acks: 1
      compression-type: lz4
      buffer-memory: 33554432
      batch-size: 51200
      properties:
        send.buffer.bytes: 262144
        sasl.mechanism: PLAIN
        security.protocol: SASL_SSL

码农公寓