Perguntas Frequentes sobre o Streaming com Apache Kafka
Geral
O que é OCI Streaming with Apache Kafka?
O OCI Streaming with Apache Kafka é um serviço gerenciado que permite criar aplicações de streaming de dados em tempo real usando o Apache Kafka na Oracle Cloud Infrastructure (OCI). Ele fornece um ambiente Kafka totalmente gerenciado, eliminando a necessidade de gerenciar a infraestrutura subjacente.
Quais são os principais casos de uso do OCI Streaming with Apache Kafka?
Os casos de uso típicos incluem captura de dados de alteração de usuário (CDC), ingestão de métricas e logs, análise de comportamento, previsão de demanda em tempo real, detecção de fraudes, detecção de anomalias em negociações e análise de assistência médica. Esse serviço também é ideal para cenários que exigem ingestão e processamento de dados de alto rendimento e baixa latência.
Quais são os tipos de cluster disponíveis no OCI Streaming with Apache Kafka?
Existem dois tipos de cluster: inicial e alta disponibilidade (HA). Um cluster inicial pode ser configurado em uma sub-rede regional ou específica de domínio de disponibilidade com 1 a 24 brokers. Os clusters HA são criados somente em sub-redes regionais e são recomendados para todas as cargas de trabalho de produção com alta disponibilidade. Os clusters HA exigem no mínimo 3 nós de broker entre domínios de disponibilidade (ADs) ou domínios de falha (FDs) com no máximo 24 brokers.
Quais versões do Apache Kafka são compatíveis?
Nosso serviço Kafka gerenciado é compatível com a versão estável mais recente do Apache Kafka 3.7, 3.6 e 3.5, além das várias versões anteriores. Você encontra a lista completa de versões compatíveis em nossa documentação.
O OCI Streaming with Apache Kafka é compatível com o modo Kafka Raft (KRaft)?
Atualmente, o OCI Streaming with Apache Kafka oferece suporte apenas ao ZooKeeper para gerenciar metadados do Kafka e coordenação de cluster. O modo KRaft, que permite ao Kafka gerenciar metadados nativamente sem o ZooKeeper, ainda não é compatível. No entanto, o suporte ao KRaft está planejado para uma versão futura, permitindo uma arquitetura Kafka simplificada e mais resiliente.
As APIs Apache Kafka são compatíveis com o OCI Streaming with Apache Kafka?
Sim, todas as APIs administrativas e de plano de dados são nativamente compatíveis com o OCI Streaming with Apache Kafka.
Posso escolher diferentes tipos de processador para o OCI Streaming with Apache Kafka?
Atualmente, o serviço oferece suporte a formas ARM A1 por padrão. Se precisar de outras famílias de processadores, como AMD ou Intel, entre em contato com o Suporte da OCI para discutir opções e configurações adicionais.
Qual é a configuração padrão do broker para um cluster?
A menos que especificado de outra forma, o OCI Streaming with Apache Kafka usa os padrões especificados pela versão de código aberto do Apache Kafka. Verifique as configurações padrão documentadas para ambos os tipos de cluster.
Posso alterar as configurações padrão do broker ou carregar uma configuração de cluster para o OCI Streaming with Apache Kafka?
Sim, o OCI Streaming with Apache Kafka permite criar e implementar configurações personalizadas a clusters novos e existentes. Atualmente, as configurações personalizadas podem ser criadas e versionadas usando a CLI, que pode ser aplicada ao criar um cluster. No OCI Console, você pode selecionar a configuração padrão ou personalizada durante a configuração do cluster. Para obter mais informações sobre configurações personalizadas, consulte a documentação de configuração.
Quais propriedades de configuração posso personalizar?
Consulte a documentação sobre as propriedades de configuração que você pode personalizar.
Segurança
Meus dados são criptografados e protegidos?
A segurança é fundamental para o OCI Streaming with Apache Kafka. O serviço OCI Streaming with Apache Kafka fornece criptografia em trânsito e em repouso por padrão, protegida com chaves de criptografia gerenciadas pela Oracle. Os controles de acesso à rede, a autenticação do usuário e as configurações de autorização oferecem outras camadas de proteção para proteger seus dados e o acesso aos serviços.
Posso restringir o acesso a tópicos específicos do Kafka?
Sim, você pode usar as listas de controle de acesso (ACLs) do Kafka para restringir o acesso a tópicos específicos, grupos de consumidores e operações administrativas. Isso ajuda a garantir que somente clientes autorizados possam acessar os recursos do Kafka.
Quais métodos de autenticação estão disponíveis para o OCI Streaming with Apache Kafka?
O OCI Streaming with Apache Kafka oferece suporte a vários métodos de autenticação para proteger o acesso ao cluster Kafka. Os usuários podem autenticar por meio do Simple Authentication and Security Layer/Salted Challenge Response Authentication Mechanism (SASL/SCRAM) ou Mutual TLS (mTLS) para comunicação segura e controle de acesso. Essas opções fornecem medidas de segurança robustas para ajudar a garantir que somente usuários autenticados possam interagir com os clusters Kafka.
O OCI Streaming com Apache Kafka é oferece suporte à autenticação LDAP (Lightweight Direct Access Protocol) ou Kerberos?
Atualmente, o serviço oferece suporte à SASL/SCRAM e mTLS para autenticação. No futuro, o OCI Streaming with Apache Kafka oferecerá suporte ao OCI Identity and Access Management (IAM), que permitirá a integração com o Active Directory e o LDAP por meio de provedores de identidade federados e sincronização de identidade para autenticação simplificada e gerenciamento de usuários.
O OCI Streaming oferece suporte ao pareamento de rede virtual na nuvem (VCN) para acesso seguro e privado?
Sim, você pode configurar os clusters Kafka em sub-redes privadas e usar o pareamento de VCN para estabelecer uma conexão segura a partir de outros VCNs da OCI ou de sua rede on-premises, dependendo dos seus requisitos de arquitetura.
Desempenho e escalabilidade
Quais são os limites de throughput e escalabilidade do OCI Streaming with Apache Kafka?
O OCI Streaming with Apache Kafka oferece suporte à ingestão e ao processamento de dados escaláveis, com configurações de broker personalizáveis para atender aos requisitos de alto throughput. Você pode adicionar até 24 brokers em um cluster, dependendo da configuração selecionada.
Como o OCI Streaming lida com o balanceamento de carga e a tolerância a falhas?
Para clusters de alta disponibilidade, o OCI Streaming with Kafka distribui automaticamente corretores em vários ADs ou FDs para resiliência. O serviço também fornece balanceamento de carga e particionamento automatizados entre brokers.
Posso dimensionar o cluster Kafka de forma dinâmica?
Sim, você pode dimensionar o cluster Kafka dentro dos limites de contagem de brokers (1 a 24 brokers). Isso permite ajustar recursos para corresponder às demandas de carga de trabalho sem interromper o serviço.
Conectividade
Posso acessar o OCI Streaming with Apache Kafka de fora da Oracle Cloud?
Atualmente, a conectividade pública com o OCI Streaming with Apache Kafka não está disponível. O acesso aos clusters Kafka é restrito às VCNs da OCI. Para conectar produtores e consumidores externos, você pode configurar soluções de conectividade privada, como o OCI FastConnect ou VPN, para estender com segurança sua rede on-premises ou outros ambientes de nuvem para a OCI.
Quais configurações são necessárias para conectar clientes Kafka da minha rede on-premises?
Para conectividade on-premises, você pode configurar uma conexão FastConnect ou VPN da OCI para acessar com segurança o cluster Kafka hospedado na OCI.
O OCI Streaming with Apache Kafka oferece suporte à replicação entre clusters (Ativo/Ativo e Ativo/Stand-by)?
Sim, o OCI Streaming with Apache Kafka oferece suporte à replicação entre clusters, que pode ser definida para configurações Ativo/Ativo ou Ativo/Em espera usando o MirrorMaker 2. Isso permite estratégias flexíveis de replicação de dados entre clusters, permitindo a recuperação de desastres e a sincronização de dados. Por padrão, os dados em uma configuração de alta disponibilidade são replicados na mesma região para fins de resiliência. Você pode usar o MirrorMaker 2 para personalizar uma replicação entre regiões ou entre clusters adicional com base em seus requisitos específicos.
Posso migrar dados do cluster Apache Kafka existente para o OCI Streaming with Apache Kafka?
Sim, você pode usar ferramentas de terceiros ou ferramentas de código aberto, como MirrorMaker 2, compatíveis com o Apache Kafka, para replicar dados de clusters no OCI Streaming with Apache Kafka.
O OCI Streaming with Apache Kafka é compatível com a captura de dados alterados (CDC) com o Debezium?
Sim, o OCI Streaming com Apache Kafka oferece suporte ao CDC usando Debezium, juntamente com quaisquer outros conectores Kafka. Atualmente, os usuários são responsáveis por gerenciar e manter os próprios conectores para CDC. No entanto, um serviço Kafka Connect totalmente gerenciado, que simplificará o gerenciamento de conectores, está planejado para uma versão futura.
Operações e monitoramento
Como posso monitorar o cluster Kafka na OCI?
Atualmente, a integração direta com OCI Monitoring e métricas JMX não é compatível com o OCI Streaming with Apache Kafka. Para monitorar o desempenho e a atividade do cluster Kafka, você deve usar soluções personalizadas ou ferramentas de monitoramento externas. Você pode implementar ferramentas de monitoramento na mesma VCN que o cluster do Kafka para coletar métricas como o desempenho do broker e a atividade do tópico.
O registro em log está disponível para o OCI Streaming with Apache Kafka?
Atualmente, o OCI Streaming with Apache Kafka não oferece suporte à integração direta com o OCI Logging para a captura de registros operacionais. Para solução de problemas e análise, talvez seja necessário implementar soluções de registro externo ou ferramentas de monitoramento no seu ambiente.
Como gerencio configurações e replicação de tópicos?
As configurações de tópicos, partições e definições de replicação só podem ser gerenciadas usando a CLI, SDKs ou APIs Kafka na mesma rede que o cluster Kafka. Atualmente, o OCI Console não oferece suporte ao gerenciamento direto dessas configurações. Você pode definir o fator de replicação por meio dessas ferramentas para atender às suas necessidades de tolerância a falhas e disponibilidade.
Existe uma interface de usuário para administrar o cluster Kafka na OCI?
Atualmente, o OCI Streaming with Apache Kafka não fornece uma interface de usuário nativa para a administração de clusters. No entanto, você pode usar ferramentas de terceiros, como Kafbat, AKHQ e similares, para gerenciar e monitorar seus clusters Kafka. Essas ferramentas podem ser implementadas na OCI, permitindo exibir e administrar o cluster perfeitamente em seu próprio ambiente.
Preços e faturas
Qual o preço do OCI Streaming with Apache Kafka?
O preço do OCI Streaming with Apache Kafka é baseado na infraestrutura subjacente. Você pode configurar o cluster selecionando a quantidade de brokers, núcleos, memória e armazenamento do Kafka. Os custos de infraestrutura associados são encargos de repasse com base na lista de preços da OCI (consulte formas flexíveis A1 para preços de OCPU). Além disso, uma taxa de serviço de US$ 0,10 por OCPU por hora é aplicada com base no número de OCPUs provisionadas. Para clusters que usam a forma Arm A1, a taxa de serviço é descontada em 50%, resultando em uma cobrança de US$ 0,05 por OCPU por hora.
Existem custos adicionais para armazenamento de dados no OCI Streaming?
Sim, os custos de armazenamento de dados são baseados no armazenamento de volume em blocos que você seleciona durante o provisionamento do cluster. Você pode escolher entre 50 GB e 1 TB de armazenamento por broker. O custo de armazenamento associado é uma despesa de repasse com base no preço do OCI Block Volume. Por exemplo, se você precisar de 5 TB de armazenamento, provisionará 5 brokers com 1 TB cada, totalizando 5 TB de armazenamento para o cluster.
Integração e compatibilidade
O OCI Streaming with Apache Kafka é compatível com o Kafka Connect?
Atualmente, o OCI Streaming with Apache Kafka não inclui um serviço Kafka Connect gerenciado, mas você pode implementar o Kafka Connect em instâncias do OCI Compute e integrá-lo aos clusters Kafka.
Posso usar o OCI Streaming with Apache Kafka com o Oracle GoldenGate para captura de dados alterados?
Sim, você pode integrar o Oracle GoldenGate com o OCI Streaming with Apache Kafka para capturar e transmitir alterações dos bancos de dados para o Kafka, oferecendo suporte a vários casos de uso de replicação de dados e análise.
Como o OCI Streaming with Apache Kafka se integra ao OCI Data Flow?
O OCI Data Flow pode ser usado para processar dados de tópicos do Kafka diretamente, permitindo criar e executar aplicações Spark para transformação, análise e armazenamento de dados.
Há um Schema Registry disponível com o OCI Streaming with Apache Kafka?
Sim, o serviço atualmente oferece suporte à integração com opções de Schema Registry de código aberto, permitindo gerenciar e armazenar esquemas para seus fluxos de dados. Uma oferta de Schema Registry totalmente gerenciada está em desenvolvimento e deverá ser lançada em uma versão futura, simplificando o gerenciamento de esquemas no ambiente da OCI.