Streaming with Apache Kafka 常见问题解答

一般问题

什么是 OCI Streaming with Apache Kafka？

OCI Streaming with Apache Kafka 是一项托管服务，支持您在 Oracle Cloud Infrastructure (OCI) 上使用 Apache Kafka 构建实时数据流应用。它提供了一个完全托管的 Kafka 环境，无需管理底层基础设施。

OCI Streaming with Apache Kafka 的主要用例有哪些？

典型用例包括用户更改数据捕获 (CDC)、指标和日志摄取、行为分析、实时需求预测、欺诈检测、交易中的异常检测和医疗分析。此服务也非常适合需要高吞吐量、低延迟的数据摄取和处理的场景。

OCI Streaming with Apache Kafka 有哪些可用的集群类型？

有两种集群类型：启动集群和高可用性 (High Availability，HA) 集群。启动集群可设置在特定于可用性域或区域子网中，有 1 至 24 个中介。HA 群集仅在区域子网中创建，建议用于所有具有高可用性的生产工作负载。HA 集群需要跨可用性域 (Availability Domain，AD) 或容错域 (Fault Domain，FD) 的最少 3 个中介节点，最多 24 个中介节点。

Oracle 支持哪些版本的 Apache Kafka？

Oracle 托管式 Kafka 服务支持 Apache Kafka 的最新稳定版本 3.7、3.6、3.5 以及多个历史版本。请查看文档，获取完整列表。

OCI Streaming with Apache Kafka 是否支持 Kafka Raft (KRaft) 模式？

OCI Streaming with Apache Kafka 目前仅支持 ZooKeeper 来管理 Kafka 元数据和集群协调。现在还不支持 KRaft 模式，该模式能让 Kafka 在没有 ZooKeeper 的情况下原生管理元数据。不过，我们计划在未来的版本中提供 KRaft 支持，从而实现简化且更具弹性的 Kafka 架构。

Apache Kafka API 是否与 OCI Streaming with Apache Kafka 兼容？

是的，OCI Streaming with Apache Kafka 原生支持所有数据层和管理 API。

是否可以为 OCI Streaming with Apache Kafka 选择不同的处理器类型？

该服务目前默认支持 ARM A1 配置。如果您需要其他处理器系列（例如 AMD 或 Intel），请与 OCI 支持部门联系，讨论其他选项和配置。

集群的默认中介配置是什么？

除非另有说明，OCI Streaming with Apache Kafka 使用 Apache Kafka 开源版本指定的默认设置。查看两种集群类型的文档默认设置。

是否可以更改默认的中介配置或将集群配置上传到 OCI Streaming with Apache Kafka？

可以，OCI Streaming with Apache Kafka 允许您同时为新集群和现有集群创建和应用定制配置。目前可以使用 CLI 创建自定义配置并对其进行版本控制，然后在创建集群时应用。在 OCI 控制台中，您可以在群集设置期间选择默认配置或自定义配置。有关自定义配置的更多信息，请参阅配置文档。

可以自定义哪些配置属性？

请参阅文档，了解您可以自定义的配置属性。

安全

数据是否经过加密和保护？

安全性是 OCI Streaming with Apache Kafka 的基础。OCI Streaming with Apache Kafka 服务默认在传输和静止时提供加密，并使用 Oracle 托管的加密密钥进行保护。网络访问控制、用户身份验证和授权设置提供了进一步的保护层，以保障您的数据和服务访问安全。

是否可以限制对特定 Kafka 主题的访问？

可以，您可以使用 Kafka Access Control Lists (ACLs) 来限制对特定主题、使用者组和管理操作的访问，这有助于确保只有授权客户端才能访问 Kafka 资源。

OCI Streaming with Apache Kafka 提供哪些身份验证方法？

OCI Streaming with Apache Kafka 支持多种身份验证方法来保护对 Kafka 集群的访问。用户可通过 Simple Authentication and Security Layer/Salted Challenge Response Authentication Mechanism (SASL/SCRAM) 或 Mutual TLS (mTLS) 进行身份验证，以确保通信和访问控制的安全。这些选项提供了强大的安全措施，有助于确保只有经过身份验证的用户才能与 Kafka 集群进行交互。

OCI Streaming with Apache Kafka 是否 Lightweight Direct Access Protocol (LDAP) 或 Kerberos 身份验证？

目前，该服务支持 SASL/SCRAM 和 mTLS 进行身份验证。未来，OCI Streaming with Apache Kafka 将支持 OCI Identity and Access Management (IAM)，通过联合身份提供商和身份同步实现与 Active Directory 和 LDAP 的集成，以简化身份验证和用户管理。

OCI Streaming 是否支持 Virtual Cloud Network (VCN) 对等，以实现安全的专用访问？

是的，您可以在专用子网中配置 Kafka 集群，并根据您的架构要求，使用 VCN 对等互联从其他 OCI VCN 或您的内部网络进行安全连接。

性能和伸缩性

OCI Streaming with Apache Kafka 的吞吐量和可扩展性有什么限制？

OCI Streaming with Apache Kafka 支持可扩展的数据摄取和处理，并提供可定制的中介配置来满足高吞吐量要求。根据您选择的配置，您最多可以在一个集群中添加 24 个中介。

OCI Streaming 如何处理负载平衡和容错？

对于高可用性集群，OCI Streaming with Kafka 可自动将中介分布在多个 AD 或 FD 上，以提高弹性。该服务还提供跨中介的自动负载平衡和分区。

是否可以动态扩展 Kafka 集群？

可以，您可以在中介数量限制（1-24 个中介）内扩展 Kafka 集群。这样一来，您可以在不中断服务的情况下调整资源来满足工作负载需求。

连接

是否可以从 Oracle Cloud 外部使用 Apache Kafka 访问 OCI Streaming？

目前不提供与 OCI Streaming with Apache Kafka 的公共连接。对 Kafka 集群的访问仅限于 OCI VCN。要连接外部生产者和使用者，您可以设置专用连接解决方案（例如 OCI FastConnect 或 VPN），以安全地将本地网络或其他环境扩展到 OCI。

从我的本地网络连接 Kafka 客户端需要哪些配置？

对于本地连接，您可以设置一个 OCI FastConnect 或 VPN 连接，以安全地访问托管在 OCI 上的 Kafka 集群。

OCI Streaming with Apache Kafka 是否支持在集群之间进行复制（主动/主动和主动/备用）？

是的，OCI Streaming with Apache Kafka 支持集群间复制，可以使用 MirrorMaker 2 为主动/主动或 主动/备用设置进行配置。这允许跨集群灵活的数据复制策略，从而实现灾难恢复和数据同步。默认情况下，HA 配置中的数据会在同一区域中复制以实现弹性。您可以使用 MirrorMaker 2 根据您的特定要求定制其他跨区域或跨集群复制。

是否可以将现有 Apache Kafka 集群中的数据迁移到 OCI Streaming with Apache Kafka？

可以，您可以使用 Apache Kafka 支持的第三方工具或开源工具（例如 MirrorMaker 2）将数据从集群复制到 OCI Streaming with Apache Kafka 中。

OCI Streaming with Apache Kafka 是否支持使用 Debezium 的更改数据捕获 (CDC)？

是的，OCI Streaming with Apache Kafka 支持使用 Debezium 和任何其他 Kafka 连接器进行 CDC。目前，用户负责管理和维护自己的 CDC 连接器。但是，完全托管的 Kafka Connect 服务（可简化连接器管理）计划在未来的发行版中推出。

操作和监视

如何在 OCI 上监视 Kafka 集群？

目前，OCI Streaming with Apache Kafka 不支持与 OCI Monitoring 和 JMX 指标直接集成。要监视 Kafka 集群性能和活动，必须使用定制解决方案或外部监视工具。您可以在与 Kafka 集群相同的 VCN 中部署监视工具，以收集中介性能和主题活动等指标。

OCI Streaming with Apache Kafka 是否提供日志记录？

OCI Streaming with Apache Kafka 目前不支持直接与 OCI Logging 集成来捕获操作日志。要进行故障排除和分析，您可能需要在环境中实施外部日志记录解决方案或监视工具。

如何管理主题配置和复制？

主题配置、分区和复制设置只能使用 Kafka CLI、SDK 或 Kafka API 进行管理，这些 API 位于与 Kafka 集群相同的网络中。目前，OCI 控制台不支持对这些配置进行直接管理。您可以通过这些工具设置复制因子，以满足容错和可用性需求。

是否有用于管理 OCI 中的 Kafka 集群的 UI？

目前，OCI Streaming with Apache Kafka 没有为集群管理提供原生 UI。但是，您可以使用自己的第三方工具（例如 Kafbat 、 AKHQ 和类似工具）来管理和监视 Kafka 集群。这些工具可以在 OCI 中部署，让您可以在自己的环境中无缝查看和管理集群。

定价和计费

OCI Streaming with Apache Kafka 的定价

OCI Streaming with Apache Kafka 的定价基于底层基础设施。您可以通过选择 Kafka 中介、核心、内存和存储量来配置集群。相关基础设施费用是根据OCI 定价表（OCPU 定价见 A1 弹性配置）计算的转嫁费用。此外，根据预配的 OCPU 数量，每个 OCPU 每小时的服务费为 0.10 美元。对于使用 Arm A1 配置的集群，服务费按 50% 折扣，每 OCPU 每小时收取 0.05 美元的费用。

OCI Streaming 中的数据存储是否需要额外付费？

是的，数据存储成本基于您在群集配置过程中选择的块卷存储。您可以为每个中介选择 50 GB 到 1 TB 的存储空间。相关的存储成本是根据 OCI 块容量定价计算的转嫁费用。例如，如果需要 5 TB 的存储空间，则需要为 5 个中介提供每个 1 TB 的存储空间，这样群集的存储空间总计为 5 TB。

集成和兼容性

OCI Streaming with Apache Kafka 是否支持 Kafka Connect？

目前，OCI Streaming with Apache Kafka 不包含托管 Kafka Connect 服务，但您可以在 OCI Compute 实例上部署 Kafka Connect 并将其与 Kafka 集群集成。

是否可以将 OCI Streaming with Apache Kafka with Oracle GoldenGate 用于更改数据捕获？

是的，您可以将 Oracle GoldenGate 与 OCI Streaming 与 Apache Kafka 集成，以捕获和流式传输从数据库到 Kafka 的更改，支持各种数据复制和分析用例。

OCI Streaming with Apache Kafka 如何与 OCI Data Flow 集成？

OCI Data Flow 可直接用于处理来自 Kafka 主题的数据，支持您构建和执行 Spark 应用以进行数据转换、分析和存储。

OCI Streaming with Apache Kafka 是否提供方案注册表？

是的，该服务当前支持与开源方案注册表选项集成，以便您管理和存储数据流的方案。完全托管的方案注册表产品正在开发中，预计将在未来的发行版中推出，从而简化 OCI 环境中的方案管理。