Preguntas frecuentes sobre Streaming con Apache Kafka

General

¿Qué es OCI Streaming with Apache Kafka?

OCI Streaming with Apache Kafka es un servicio gestionado que permite crear aplicaciones de transmisión de datos en tiempo real mediante Apache Kafka en Oracle Cloud Infrastructure (OCI). Proporciona un entorno de Kafka totalmente gestionado, eliminando la necesidad de gestionar la infraestructura subyacente.

¿Cuáles son los principales casos de uso de OCI Streaming with Apache Kafka?

Los casos de uso más comunes incluyen la base de datos de entrenamiento de IA en tiempo real, la orquestación de agentes de IA y sistemas multiagente, análisis de datos en tiempo real, captura de datos de cambios (CDC), análisis del comportamiento de usuarios, detección de fraude, ingesta de métricas y logs, entre muchos otros. Puede manejar casos de uso de ingesta y procesamiento de datos de alto throughput y baja latencia.

¿Cuáles son los tipos de clústeres disponibles en OCI Streaming with Apache Kafka?

Hay dos tipos de clústeres: de inicio y de alta disponibilidad (HA). Un clúster starter puede tener entre 1 y 30 brokers. Se recomiendan clústeres de alta disponibilidad para todas las cargas de trabajo de producción con alta disponibilidad. Los clústeres de alta disponibilidad requieren un mínimo de 3 nodos de agente en dominios de disponibilidad (AD) o dominios de errores (FD) con un máximo de 30 agentes.

¿Qué versiones de Apache Kafka son compatibles?

Nuestro servicio Kafka administrado es compatible con Apache Kafka versión 3.7.0, 3.6.1 y 3.6.0. Puedes consultar la lista completa de versiones compatibles en la documentación.

¿OCI Streaming with Apache Kafka soporta el modo Kafka Raft (KRaft)?

Actualmente, OCI Streaming with Apache Kafka solo soporta ZooKeeper para gestionar los metadatos de Kafka y la coordinación de clústeres. El modo KRaft, que permite a Kafka gestionar metadatos de forma nativa sin ZooKeeper, aún no se admite. Sin embargo, el soporte de KRaft está planificado para una versión futura, lo que permite una arquitectura de Kafka simplificada y más resistente.

¿Son compatibles las API de Apache Kafka con OCI Streaming with Apache Kafka?

Sí, OCI Streaming soporta de forma nativa todas las API de plano de datos y administración con Apache Kafka.

¿Puedo elegir diferentes tipos de procesador para OCI Streaming with Apache Kafka?

Actualmente, el servicio soporta unidades ARM A1 por defecto. Si necesitas otras familias de procesadores, como AMD o Intel, ponte en contacto con el servicio de soporte de Oracle Cloud Infrastructure para analizar opciones y configuraciones adicionales.

¿Cuál es la configuración de agente por defecto para un clúster?

A menos que se especifique lo contrario, OCI Streaming with Apache Kafka utiliza los valores por defecto especificados por la versión de código abierto de Apache Kafka. Comprueba la configuración predeterminada documentada para ambos tipos de clúster.

¿Puedo cambiar las configuraciones de agente por defecto o cargar una configuración de clústeres en OCI Streaming with Apache Kafka?

Sí, OCI Streaming with Apache Kafka te permite crear y aplicar configuraciones personalizadas a clústeres nuevos y existentes. Actualmente, las configuraciones personalizadas se pueden crear y versionar utilizando la interfaz de línea de comandos, que luego se pueden aplicar al crear un clúster. En la consola de Oracle Cloud Infrastructure, puede seleccionar la configuración por defecto o personalizada durante la configuración del clúster. Para obtener más información sobre las configuraciones personalizadas, consulta la documentación de configuración.

¿Qué propiedades de configuración puedo personalizar?

Consulta la documentación = sobre las propiedades de configuración que puedes personalizar.

Seguridad

¿Mis datos están cifrados y protegidos?

La seguridad es fundamental para OCI Streaming with Apache Kafka. El movimiento de datos está protegido con TLS 1.2 y los datos en reposo están protegidos con cifrado de Block Volume. Los controles de acceso de red, la autenticación de usuarios (SASL_SCRAM, mTLS) y la autorización (Kafka ACL) ofrecen capas adicionales de protección para resguardar tus datos y el acceso al servicio.

¿Puedo restringir el acceso a temas específicos de Kafka?

Sí. Puedes utilizar las listas de control de acceso (ACL) de Kafka para restringir el acceso a temas, grupos de consumidores y operaciones administrativas específicos. Esto ayuda a garantizar que solo los clientes autorizados puedan acceder a los recursos de Kafka.

¿Qué métodos de autenticación hay disponibles para OCI Streaming with Apache Kafka?

OCI Streaming with Apache Kafka soporta varios métodos de autenticación para proteger el acceso a tu clúster de Kafka. Los usuarios pueden autenticarse mediante la autenticación simple y el mecanismo de autenticación de respuesta de comprobación salada/capa de seguridad (SASL/SCRAM) o TLS mutua (mTLS) para una comunicación segura y un control de acceso. Estas opciones proporcionan medidas de seguridad sólidas para ayudar a garantizar que solo los usuarios autenticados puedan interactuar con los clústeres de Kafka.

¿Soporta OCI Streaming with Apache Kafka el protocolo ligero de acceso directo (LDAP) o la autenticación de Kerberos?

En la actualidad, el servicio admite SASL/SCRAM y mTLS para autenticación. En el futuro, OCI Streaming with Apache Kafka será compatible con OCI Identity and Access Management (IAM), de modo que permitirá la integración con Active Directory y LDAP a través de proveedores de identidad federados y sincronización de identidad para la autenticación optimizada y la gestión de usuarios.

¿OCI Streaming admite el intercambio de tráfico de redes virtuales en la nube (VCN) para un acceso seguro y privado?

Sí, puedes configurar tus clústeres de Kafka en subredes privadas y utilizar el intercambio de VCN para conectarse de forma segura desde otras redes virtuales en la nube de Oracle Cloud Infrastructure o su red local, según los requisitos de arquitectura.

Rendimiento y escalabilidad

¿Cuáles son los límites de rendimiento y escalabilidad de OCI Streaming with Apache Kafka?

OCI Streaming with Apache Kafka soporta la ingestión y el procesamiento de datos escalables, con configuraciones de agente personalizables para cumplir los requisitos de alto rendimiento. Puedes agregar hasta 30 agentes en un clúster. Para obtener más información, consulta la documentación.

¿Cómo maneja OCI Streaming el equilibrio de carga y la tolerancia a fallos?

Para clústeres de alta disponibilidad, OCI Streaming with Kafka distribuye automáticamente agentes entre varios dominios de disponibilidad o dominios de error para ofrecer resiliencia. El servicio también proporciona equilibrio de carga automatizado y partición en los diversos agentes.

¿Puedo escalar de forma dinámica mi clúster de Kafka?

Sí, puedes ampliar el clúster de Kafka dentro de los límites de recuento de agentes (entre 1 y 30 agentes). Esto te permite ajustar los recursos para que se adapten a las demandas de la carga de trabajo sin interrumpir el servicio. Para mayores requerimientos de agentes, contacta al soporte.

Conectividad

¿Puedo acceder a OCI Streaming with Apache Kafka desde fuera de Oracle Cloud?

Actualmente, la conectividad pública a OCI Streaming with Apache Kafka no está disponible. El acceso a los clústeres de Kafka está restringido a las VCN de Oracle Cloud Infrastructure. Para conectar a productores y consumidores externos, puede configurar soluciones de conectividad privadas, como OCI FastConnect o VPN, para ampliar de forma segura su red local u otros entornos en la nube a Oracle Cloud Infrastructure.

¿Qué configuraciones se necesitan para conectar los clientes de Kafka desde mi red local?

Para la conectividad local, puedes configurar una conexión de OCI FastConnect o VPN para acceder de forma segura al clúster de Kafka alojado en Oracle Cloud Infrastructure.

¿Soporta OCI Streaming with Apache Kafka la replicación entre clústeres (activo/activo y activo/en espera)?

Sí, OCI Streaming with Apache Kafka soporta la replicación entre clústeres, que se puede ajustar para configuraciones activas/activas o activas/en espera con MirrorMaker 2. Esto permite estrategias de replicación de datos flexibles en los clústeres, lo que permite la recuperación ante desastres y la sincronización de datos. Por defecto, los datos de una configuración de alta disponibilidad se replican en la misma región para obtener resiliencia. Puedes utilizar MirrorMaker 2 para personalizar la replicación entre regiones o entre clústeres adicionales en función de tus necesidades específicas.

¿Puedo migrar datos de mi clúster de Apache Kafka actual a OCI Streaming with Apache Kafka?

Sí, puedes usar herramientas como MirrorMaker 2 para replicar datos desde clústeres hacia OCI Streaming con Apache Kafka.

¿Soporta OCI Streaming with Apache Kafka la captura de datos de cambios (CDC) con Debezium?

Sí, OCI Streaming with Apache Kafka admite CDC utilizando Debezium, junto con cualquier otro conector de Kafka. Actualmente, los usuarios son responsables de gestionar y mantener sus propios conectores para la CDC. Sin embargo, un servicio Kafka Connect totalmente gestionado, que simplificará la gestión de conectores, está planificado para una versión futura.

Operaciones y supervisión

¿Cómo puedo supervisar mi clúster de Kafka en Oracle Cloud Infrastructure?

Puedes monitorear métricas a nivel de clúster y broker desde la consola de OCI Monitoring con el namespace oci_kafka. Para obtener más información, consulta la documentación. Próximamente estarán disponibles métricas adicionales de alta cardinalidad (a nivel de topic y partición).

¿Está disponible el registro para OCI Streaming with Apache Kafka?

Actualmente, OCI Streaming con Apache Kafka solo ofrece logs de auditoría. Próximamente se ofrecerán logs de agente o del servicio.

¿Cómo puedo gestionar las configuraciones y la replicación de temas?

Las configuraciones de topics, particiones y replicación se pueden gestionar usando la CLI de Kafka, SDKs o APIs de Kafka. Actualmente, la consola de Oracle Cloud Infrastructure no soporta la gestión directa de estas configuraciones. Puedes definir el factor de replicación a través de las APIs de Kafka para cumplir con tus necesidades de tolerancia a fallos y disponibilidad.

¿Existe una interfaz de usuario para administrar el clúster de Kafka en Oracle Cloud Infrastructure?

Actualmente, OCI Streaming with Apache Kafka no proporciona una interfaz de usuario nativa para la administración de clústeres. Sin embargo, puede utilizar sus propias herramientas de terceros, como Kafbat, AKHQ y similares, para gestionar y supervisar los clústers de Kafka. Estas herramientas se pueden desplegar en Oracle Cloud Infrastructure, de modo que te permite ver y administrar el clúster sin problemas dentro de tu propio entorno.

Precios y facturación

¿Cómo se fijan los precios de OCI Streaming with Apache Kafka?

Los precios de OCI Streaming with Apache Kafka se basan en la infraestructura subyacente. Puedes configurar el clúster seleccionando la cantidad de agentes, núcleos, memoria y almacenamiento de Kafka. Los costos de infraestructura asociados son cargos de transferencia basados en la lista de precios de Oracle Cloud Infrastructure (consulta las unidades flexibles A1 para conocer los precios de OCPU). Además, se aplica una tarifa de servicio de 0,10 dólares por OCPU por hora en función del número de OCPU aprovisionadas. Para los clústeres que utilizan la unidad Arm A1, se aplica la tarifa de servicio un descuento del 50 %, de modo que el costo por OCPU por hora es de 0,05 dólares.

¿Se aplican costos adicionales de almacenamiento de datos en OCI Streaming?

Sí. Los costos de almacenamiento de datos se basan en el almacenamiento de Block Volume que selecciones durante el aprovisionamiento de clústeres. Puedes elegir entre 50 GB y 5 TB de almacenamiento por agente. El costo de almacenamiento asociado es un gasto de transferencia basado en los precios de OCI Block Volume. Por ejemplo, si necesitas 15 TB de almacenamiento, aprovisionarás 3 agentes con 5 TB cada uno, con un total de 15 TB de almacenamiento para el clúster.

Integración y compatibilidad

¿OCI Streaming with Apache Kafka admite Kafka Connect?

Actualmente, OCI Streaming with Apache Kafka no incluye un servicio gestionado de Kafka Connect, pero puedes desplegar Kafka Connect en instancias de OCI Compute e integrarlo con tus clústeres de Kafka.

¿Puedo utilizar OCI Streaming with Apache Kafka con Oracle GoldenGate para capturar datos de cambios?

Sí, puedes integrar Oracle GoldenGate con OCI Streaming with Apache Kafka para capturar y transmitir cambios de bases de datos a Kafka, soportando múltiples casos de uso de replicación de datos y análisis.

¿Cómo se integra OCI Streaming with Apache Kafka con OCI Data Flow?

OCI Data Flow se puede utilizar para procesar datos de temas de Kafka directamente, lo que te permite crear y ejecutar aplicaciones de Spark para la transformación, el análisis y el almacenamiento de datos.

¿Se dispone de un registro de esquema en OCI Streaming with Apache Kafka?

Sí. Actualmente, el servicio admite la integración con opciones de registro de esquema de código abierto, lo que permite gestionar y almacenar esquemas para los flujos de datos. Se está desarrollando una oferta de registro de esquema totalmente gestionada y se espera que se incorpore en una versión futura, lo que simplifica la gestión de esquemas en el entorno de Oracle Cloud Infrastructure.