O que é um banco de dados de grafos?

A maneira como os bancos de dados de grafos ajudam a identificar relações entre pessoas, lugares e eventos os torna um recurso valioso para uma variedade de casos de uso, incluindo mapeamento, recomendações de produtos e detecção de fraudes. Atualmente, os sistemas de IA utilizam grafos para adicionar novos níveis de contexto e nuances aos resultados. Vamos analisar como os bancos de dados de grafos funcionam e explorar a melhor forma de aproveitar seus recursos exclusivos.

O que é um banco de dados de grafos?

Um banco de dados de grafos é um banco de dados projetado para armazenar e consultar dados complexos e interconectados. Ele funciona armazenando e representando dados como nós (ou entidades) e arestas (ou relacionamentos). Essa representação em grafo permite que os usuários do banco de dados executem análises, o que os ajuda a encontrar e explorar relacionamentos complexos entre as entidades de dados.

Existem diversos bancos de dados de grafos disponíveis no mercado. Alguns, como o Neo4j, são bancos de dados de grafos dedicados que lidam apenas com dados em grafo, enquanto outros, incluindo o Oracle AI Database, são bancos de dados corporativos multimodais que oferecem suporte a diversos modelos de dados, incluindo grafos. Ao contrário dos bancos de dados relacionais tradicionais, que armazenam dados em tabelas e usam junções para estabelecer relacionamentos, os bancos de dados de grafos armazenam esses relacionamentos como um elemento fundamental no banco de dados, tornando-os diretamente disponíveis para consulta e exploração usando linguagens como Cypher, Gremlin, PGQL e SQL.

Um banco de dados de grafos é ideal quando se deseja descobrir relacionamentos complexos e dinâmicos entre entidades de dados. Isso explica sua popularidade em casos de uso como sistemas de roteamento e logística, onde múltiplos fatores influenciam o mapeamento de uma rota ideal, ou redes sociais, onde uma visão da intrincada rede de conexões entre usuários, grupos e interesses é necessária para recomendações. Além disso, os sistemas de IA estão aproveitando os bancos de dados de grafos para ajudá-los a fornecer resultados mais oportunos, relevantes e refinados por meio do uso crescente de arquiteturas RAG de grafos.

Principais conclusões

• Os bancos de dados de grafos oferecem uma maneira de explorar relacionamentos e dependências entre pontos em um conjunto de dados.
• Ao armazenar dados como nós e arestas, os bancos de dados de grafos permitem navegação e recuperação rápidas de dados conectados.
• Os bancos de dados de grafos são populares para diversos casos de uso, incluindo aplicações da web semântica, detecção de fraudes, redes sociais e sistemas de recomendação para varejo ou entretenimento.
• Sistemas de IA cada vez mais populares que utilizam arquiteturas RAG de grafos para obter resultados mais precisos e com nuances dependem de bancos de dados de grafos.

Bancos de dados de grafos explicados

Os bancos de dados de grafos usam modelos de grafos para representar relacionamentos nos dados. Eles permitem que os usuários executem o que são chamadas de "consultas transversais" que, essencialmente, percorrem um conjunto de dados para encontrar conexões entre pontos de dados. O banco de dados aplica algoritmos de grafos para identificar padrões, caminhos, comunidades, influenciadores, pontos únicos de falha e outros relacionamentos. O poder dos grafos reside em sua capacidade de conectar fontes de dados díspares para encontrar novas informações, mesmo em conjuntos de dados muito grandes e diversos.

Os algoritmos de grafos são especificamente projetados para analisar relacionamentos e comportamentos entre dados em grafos, possibilitando a identificação de conexões que são difíceis ou impossíveis de verificar com outros métodos. Por exemplo, algoritmos de grafos podem identificar qual indivíduo ou item está mais conectado a outros em redes sociais ou processos comerciais, e podem revelar comunidades, anomalias, padrões comuns e caminhos que conectam indivíduos ou transações relacionadas.

Para chegar a esses insights, os algoritmos exploram os caminhos e as distâncias entre os vértices, ou seja, os pontos de dados que representam entidades em um conjunto de dados, e sua importância e clusterização. Para determinar a significância, os algoritmos geralmente analisam as arestas de entrada, a importância dos vértices vizinhos e outros indicadores. Os bancos de dados de grafos armazenam esses relacionamentos como dados junto com os próprios nós, permitindo navegação e recuperação rápidas dos dados conectados. Além disso, tendem a ser flexíveis em seu esquema, permitindo a evolução do modelo de dados conforme os relacionamentos mudam.

Como os bancos de dados de grafos funcionam?

Os bancos de dados de grafos armazenam informações como uma rede de nós que representam entidades, como contas ou transações, e arestas que representam os relacionamentos que conectam os nós. Quando o banco de dados é consultado, ele funciona percorrendo essas arestas predefinidas de um nó para outro para encontrar padrões e caminhos nos dados.

A imagem abaixo é um exemplo simples de um banco de dados de grafos em ação. Ela representa visualmente o popular jogo “Six Degrees of Kevin Bacon”, que consiste em estabelecer conexões entre Bacon e outro ator com base em uma cadeia de filmes em que ambos atuaram. Essa ênfase em relacionamentos o torna a maneira ideal de demonstrar a análise de grafos.

Imagine um conjunto de dados com duas categorias de nós: todos os filmes feitos durante a carreira de Kevin e todos os atores nesses filmes. Em seguida, usando a tecnologia de grafos, executamos uma consulta pedindo para conectar o ator à icônica personagem dos Muppets, Miss Piggy. O resultado seria o seguinte:

Rede de nós representando as seguintes conexões: Miss Piggy participou de Muppets na Ilha do Tesouro (Muppet Treasure Island) com Billy Connolly, que atuou em Desventuras em Série (Lemony Snicket) com Meryl Streep, que participou de O Rio Selvagem (The River Wild) com Kevin Bacon.

Neste exemplo, os nós disponíveis (vértices) são atores e filmes, e as relações (arestas) têm o status de “atuou em”. A partir daqui, a consulta retorna os seguintes resultados:

• Kevin atuou em “O Rio Selvagem” (The River Wild) com Meryl Streep.
• Streep atuou em Desventuras em Série (Lemony Snicket’s A Series of Unfortunate Events), com Billy Connolly.
• Connolly atuou em "Muppets na Ilha do Tesouro" (Muppet Treasure Island) com Miss Piggy.

Os bancos de dados de grafos podem consultar diversos relacionamentos diferentes para este exemplo, como:

• "Qual é o caminho mais curto para conectar Kevin Bacon a Miss Piggy?"
  R: Análise do caminho mais curto, conforme usado no jogo Six Degrees acima.
• “Quem trabalhou com o maior número de atores?”
  R: A centralidade de grau encontraria o ator com o maior número de créditos como coestrela.
• “Qual é a distância média entre Kevin Bacon e todos os outros atores?”
  R: A centralidade de proximidade pode ser usada para demonstrar o alto grau de interconexão entre os atores da indústria cinematográfica.

É claro que este é um exemplo mais divertido do que a maioria dos usos da análise de grafos. Mas essa abordagem funciona para quase todos os dados, em qualquer situação em que um grande número de registros mostre uma conectividade natural. Algumas das maneiras mais populares de usar a análise de grafos são para analisar redes sociais e de comunicação, tráfego e uso de sites, e transações e contas financeiras.

Bancos de dados de grafos com grafos

Para criar um grafo, você define o modelo de dados, identificando nós e arestas, e depois insere dados no banco de dados de grafos usando uma linguagem de consulta, como SQL ou PGQL da Oracle, ou ferramentas de código aberto, como Cypher ou Gremlin.

Bancos de dados de grafos e análise de grafos

Os bancos de dados permitem a análise de grafos, oferecendo suporte a algoritmos que percorrem os dados dos grafos para identificar padrões e relações, como a busca em largura (BFS) e a busca em profundidade (DFS). Além disso, os bancos de dados de grafos geralmente incluem funções integradas para análise de grafos, como medidas de centralidade e detecção de comunidades. Alguns bancos de dados permitem que os usuários executem rapidamente ações como excluir, agrupar, expandir e focar em vértices e arestas para modificar uma visualização e explorar relacionamentos em dados de grafos complexos.

Vantagens de bancos de dados de grafos

Como os bancos de dados de grafos enfatizam os relacionamentos entre os pontos de dados, eles promovem uma análise eficiente de relacionamentos complexos e podem gerar insights mais profundos e relevantes com muito menos esforço. Os benefícios incluem:

• Melhor análise de redes: os grafos podem identificar rapidamente os nós que geram mais atividade ou influência, ou ainda os pontos mais fracos de uma rede, auxiliando na análise do estado da rede ou comunidade.
• Análise em subsegundos: os bancos de dados de grafos armazenam explicitamente os relacionamentos, de modo que as consultas e os algoritmos utilizam essa conectividade entre os vértices para serem executados em subsegundos, em vez das horas ou dias que levariam em um banco de dados relacional tradicional, que precisaria executar inúmeras junções para atingir os mesmos objetivos.
• Ampla gama de casos de uso: os grafos permitem explorar e descobrir conexões e padrões em, por exemplo, redes sociais, saídas de sensores de IoT, data lakes e data warehouses. Eles podem analisar rapidamente dados complexos de transações para diversos casos de uso de negócios, incluindo detecção de fraudes no setor bancário, descoberta de dependências em processos de fabricação e oferta de recomendações em sistemas de varejo.

Quando usar bancos de dados de grafos

A capacidade de entender rapidamente os relacionamentos e as conexões entre pessoas, lugares, eventos, fundos e muitos outros pontos de dados possíveis é vital para uma ampla gama de atividades comerciais e governamentais. Para entender o motivo, vejamos alguns exemplos.

Casos de uso de bancos de dados de grafos

Os bancos de dados de grafos são usados ​​em uma ampla gama de setores, tendo como ponto em comum a importância das relações entre os pontos de dados. Os casos de uso incluem:

• Análise de redes sociais: as redes sociais representam um caso de uso ideal, pois envolvem muitos nós (contas de usuários) e conexões multidimensionais (interações em diversas direções). Uma análise de grafo para uma rede social pode determinar fatores como "quão ativos são os usuários?" (número de nós). Quais usuários têm maior influência? (densidade de conexões). Quem tem o engajamento mais bidirecional? (direção e densidade de conexões). No entanto, essa informação é inútil se bots a tiverem distorcido artificialmente.

  As plataformas de redes sociais fazem o possível para eliminar contas de bots, pois elas impactam a experiência geral do usuário. Felizmente, a análise de grafos pode fornecer um meio excelente para identificar e filtrar bots. Em um caso de uso real, a equipe da Oracle utilizou o Oracle Marketing Cloud para avaliar a publicidade e o engajamento em redes sociais, especificamente para identificar bots. O comportamento mais comum desses bots envolvia republicar conteúdo de contas-alvo, aumentando artificialmente sua popularidade. Uma análise de padrões simples revelou a contagem de republicações e a densidade de conexões com contas vizinhas. Naturalmente, contas populares mostraram relacionamentos diferentes com as contas vizinhas em comparação com contas controladas por bot.

  Esta imagem mostra contas naturalmente populares.

  

  Em um gráfico de curvas simples que mostra contas reais de redes sociais, a maioria das pessoas compartilha o conteúdo algumas vezes, seguindo a forma da distribuição da lei de potência.

  E esta imagem mostra o comportamento de uma conta controlada por bot.

  

  Em um gráfico de curvas simples que representa a atividade de uma conta de bot, uma conta de bot pode ser identificada pelo maior número de seguidores que compartilham as mesmas mensagens várias vezes.

  Depois que a análise de grafos identificou um padrão natural em vez de um padrão de bot, basta filtrar essas contas, embora também seja possível aprofundar a análise para examinar as relações entre bots e contas republicadas. Para verificar se esse processo de detecção de bot estava correto, contas sinalizadas foram verificadas após um mês. Os resultados foram os seguintes:

  • Suspenso: 89%
  • Excluído: 2,2%
  • Ainda ativo: 8,8%

  Essa porcentagem extremamente alta de contas punidas (91,2%) mostrou a precisão da identificação do padrão. Identificar padrões complexos levaria muito mais tempo em um banco de dados tabular padrão, mas com a análise de grafos, é possível fazê-lo rapidamente.

• Monitoramento de fraudes com cartão de crédito: os bancos de dados de grafos se tornaram uma ferramenta avançada no setor financeiro para detectar fraudes. Apesar dos avanços tecnológicos, como o uso de chips embutidos em cartões, a fraude ainda pode ocorrer de diversas maneiras. Dispositivos de leitura podem roubar dados das tarjas magnéticas, uma técnica comumente usada em locais que ainda não instalaram leitores de chip. Depois que esses detalhes são armazenados, eles podem ser carregados em um cartão falsificado para fazer compras ou sacar dinheiro.

  A identificação do padrão geralmente é a primeira linha de defesa na detecção de fraudes. Os padrões de compra esperados são baseados na localização, frequência, tipos de lojas e outras coisas que se enquadram no perfil do usuário. Quando algo parece anômalo — por exemplo, uma pessoa que fica a maior parte do tempo na Baía de São Francisco, de repente faz uma compra noturna na Flórida — o sistema sinaliza a ação como uma potencial fraude. A capacidade computacional necessária para isso é significativamente simplificada com a análise de grafos, que se destaca no estabelecimento de padrões entre nós. Nesse caso, as categorias de nós são definidas como contas (titulares de cartões), locais de compra, categorias de compra, transações e terminais. É fácil identificar padrões de comportamento naturais. Por exemplo, em um determinado mês, uma pessoa pode:

  • Comprar ração (categoria de compra) em diferentes lojas de animais (terminais)
  • Pagar por restaurantes nos fins de semana (metadados da transação) em uma região específica (locais de compra).
  • Comprar equipamento de reparo (categoria de compra) em uma loja de local de reparo (local da conta, local da compra)

  A detecção de fraude é normalmente tratada com machine learning, (aprendizado de máquina), mas a análise de grafos pode complementar esse esforço para criar um processo mais preciso e eficiente. Os resultados se tornaram preditores eficazes na determinação e sinalização de registros fraudulentos graças ao foco nos relacionamentos.

• Monitoramento de lavagem de dinheiro: bancos de dados de grafos também podem ajudar no combate a fraudes mais sofisticadas. Por exemplo, conceitualmente, a lavagem de dinheiro é simples: dinheiro obtido ilegalmente é misturado com fundos legítimos e depois transformado em ativos tangíveis. Mais especificamente, uma transferência circular de dinheiro envolve um criminoso que envia grandes quantias de dinheiro obtido de forma fraudulenta para si mesmo, mas as oculta por meio de uma longa e complexa série de transferências válidas entre contas "normais" criadas com identidades sintéticas que geralmente compartilham informações semelhantes. Isso torna a análise de grafos uma ferramenta excelente para revelar suas origens fraudulentas. Para simplificar a detecção de fraudes, uma instituição financeira poderia criar um grafo a partir das transações entre contas. Depois que um grafo é criado, basta realizar uma consulta simples para encontrar todos os clientes com contas que estão enviando dinheiro entre si e que possuem informações semelhantes, como emails, endereços e números de telefone.

  

  Um diagrama ilustrando uma consulta de banco de dados de grafos para detecção de lavagem de dinheiro, mostrando um mapa visual de clientes e contas vinculados por transferências financeiras e o código SQL correspondente.

Para saber mais sobre outros casos de uso de banco de dados de grafos, baixe o ebook gratuito (PDF)

O futuro dos bancos de dados de grafos

Os bancos de dados e as técnicas de grafos evoluíram à medida que os requisitos de poder computacional e volume de dados aumentaram na última década. Tornou-se cada vez mais claro que eles se tornarão uma ferramenta importante para analisar um mundo novo de relacionamentos de dados complexos. À medida que as empresas e organizações continuam promovendo os recursos de big data e análise, a capacidade de derivar insights de maneiras cada vez mais complexas, torna os bancos de dados de grafos essenciais para as necessidades de hoje e os sucessos de amanhã.

Como escolher o banco de dados de grafos correto

Existem dois modelos populares de bancos de dados de grafos: de propriedades e RDF, também comumente chamados de grafos de conhecimento. Ao selecionar o mais adequado às suas necessidades, vale lembrar que o grafo de propriedades se concentra em análises e consultas, enquanto o grafo RDF enfatiza a integração de dados. Ambos os tipos de grafos consistem em uma coleção de pontos (vértices) e nas conexões entre esses pontos (bordas). Os grafos de conhecimento, que representam o significado e o contexto dos relacionamentos identificados nos dados do grafo, são cada vez mais relevantes para a inteligência artificial.

Grafos de propriedades: são usados ​​para modelar relacionamentos entre dados, permitindo consultas e análises de dados com base nesses relacionamentos. Um grafo de propriedades possui vértices que contêm informações detalhadas sobre um assunto e arestas que denotam a relação entre os vértices. Vértices e arestas podem ter atributos, chamados propriedades, aos quais estão associados.

Este exemplo representa um conjunto de colegas e seus relacionamentos como um grafo de propriedades. Estamos mostrando como os colegas colaboram e, infelizmente, entram em conflito uns com os outros. Também poderíamos indicar as propriedades desses colegas, como seus cargos, as cidades onde moram, se trabalham remotamente e informações sobre o departamento.

Um grafo de propriedades que visualiza os relacionamentos de conflito ou colaboração entre os membros da equipe.

Por serem tão versáteis, os grafos de propriedades são usados ​​em vários setores e indústrias, como finanças, manufatura, segurança pública e varejo.

Grafos RDF: os grafos RDF (RDF significa Resource Description Framework) cumprem um conjunto de padrões W3C (Worldwide Web Consortium) projetados para representar instruções e são ideias para representar metadados complexos e dados mestre. Eles costumam ser usados para dados vinculados, integração de dados e, cada vez mais, para grafos de conhecimento. Eles podem representar conceitos complexos em um domínio ou fornecer semântica avançada e inferência de dados.

No modelo RDF uma declaração é representada por três elementos: dois vértices conectados por uma borda refletindo o assunto, o predicado e o objeto de uma frase, conhecido como um triplo RDF. Um URI (Uniform Resource Identifier, Identificador Uniforme de Recursos) identifica cada vértice e aresta. O modelo RDF fornece uma maneira de publicar dados em um formato padrão com semântica bem definida, permitindo a troca de informações. Agências de estatísticas governamentais, empresas farmacêuticas e organizações de saúde adotaram amplamente os grafos RDF.

Cada vez mais, os grafos RDF estão ganhando popularidade como uma forma de sustentar aplicações inteligentes; muitos LLMs já são treinados em representações de grafos RDF de conjuntos de dados públicos, como o grafo de conhecimento aberto DBpedia.

Introdução ao banco de dados de grafos e a análise de grafos

A Oracle facilita a adoção de tecnologias de grafos. O Oracle AI Database e o Oracle Autonomous AI Database incluem um banco de dados de grafos integrado e um mecanismo de análise de grafos para que os usuários possam descobrir mais informações sobre seus dados usando algoritmos de grafos, consultas de correspondência de padrões e visualização. Os grafos fazem parte do banco de dados convergente da Oracle, que oferece suporte a requisitos multimodais, multicarga de trabalho (multiworkload) e multitenant, tudo em um único mecanismo de banco de dados. O Oracle Graph oferece suporte a propriedades e RDF em um único banco de dados e a análises de grafos usando SQL.

Embora todos os bancos de dados de grafos afirmem ter alto desempenho, as ofertas de grafos da Oracle são eficientes em termos de desempenho de consultas e algoritmos, além de serem altamente integradas ao Oracle AI Database. Isso facilita para os desenvolvedores a adição de análises de grafos a aplicações existentes e o uso da escalabilidade, consistência, recuperação, controle de acesso e segurança que o banco de dados oferece por padrão. O Oracle AI Database é o banco de dados de grafos para empresas.

Quando você deseja entender os relacionamentos entre pessoas, lugares, eventos e objetos em seu conjunto de dados, não há ferramenta melhor do que um banco de dados de grafos. Isso fica evidente na crescente adoção desses bancos de dados nos mais recentes sistemas de IA. Ao visualizar os dados como nós e arestas, os bancos de dados de grafos permitem que os sistemas de IA percorram e analisem essas relações com mais eficácia, levando a insights mais profundos e a uma tomada de decisão mais precisa. A expectativa é que os bancos de dados de grafos continuem se destacando à medida que a IA e os agentes de IA assumam o protagonismo em mais implementações empresariais e governamentais nos próximos anos.

Perguntas frequentes sobre banco de dados de grafos

Para que servem os bancos de dados de grafos?

Os bancos de dados de grafos são projetados para armazenar e consultar pontos de dados, representando-os como nós e arestas, o que lhes permite revelar insights sobre os padrões e relacionamentos dentro dos dados. Por esse motivo, eles se destacam no tratamento de dados altamente conectados em aplicações como redes sociais, sistemas de recomendação e detecção de fraudes.

Os bancos de dados de grafos são usados para IA?

Os bancos de dados de grafos são comumente usados ​​para aplicações de IA, que aproveitam a capacidade desses bancos de dados de consultar com eficiência os relacionamentos em dados complexos e interconectados. Isso ajuda a IA a impulsionar sistemas de recomendação e produzir grafos de conhecimento, que podem levar a insights semânticos que aprimoram a compreensão do modelo de IA sobre texto ou outro conteúdo.

Os bancos de dados de grafos são iguais aos bancos de dados relacionais?

Os bancos de dados de grafos e relacionais diferem em suas abordagens para armazenar e gerenciar relacionamentos de dados. Os bancos de dados relacionais usam tabelas e chaves estrangeiras para estabelecer conexões entre entidades de dados, o que pode levar a junções complexas ao lidar com dados profundamente interconectados. Por outro lado, bancos de dados de grafos visualizam os dados como nós e arestas, permitindo uma travessia e consulta de relacionamentos mais eficientes, tornando-os adequados para aplicações que envolvem dados complexos e altamente conectados, como plataformas de redes sociais, mecanismos de recomendação de varejo ou sistemas de detecção de fraudes.