Preguntas frecuentes sobre Oracle AI Vector Search

Preguntas generales

¿Qué es un vector?

Un vector es una representación matemática de texto, imágenes, audio o video que codifica las características o el significado semántico de los datos, en lugar de los contenidos reales, como las palabras subyacentes o píxeles. Un vector está formado por una lista de valores numéricos, conocidos como dimensiones, y se pueden utilizar para operaciones de inteligencia artificial (IA).

¿Cómo se crean los vectores?

Los vectores se crean a partir de diferentes tipos de datos de entrada (texto, imágenes, audio, video y otros datos) mediante modelos de aprendizaje profundo conocidos como modelos de incrustación. Puedes crear vectores fuera de la base de datos mediante tus propios modelos o servicio de incrustación, o bien puedes crearlos en la base de datos mediante modelos de incrustación importados mediante la función SQL VECTOR_EMBEDDING().

¿Qué formatos de dimensión se admiten para los vectores?

Oracle AI Vector Search admite los formatos BINAR INT8, FLOAT32 y FLOAT64.

¿Cuántas dimensiones vectoriales son compatibles?

Oracle AI Vector Search admite vectores hasta de 65 535 dimensiones.

¿Qué tamaño tienen los vectores?

El tamaño de un vector es el producto del número de dimensiones y el tamaño de cada dimensión.

Por ejemplo, un vector con 2048 dimensiones y el formato INT8 (1 byte) tiene un tamaño de 2 kilobytes, y un vector con 1024 dimensiones y el formato FLOAT32 (4 bytes) tiene un tamaño de 4 kilobytes.

¿Admite AI Vector Search vectores dispersos?

Oracle AI Vector Search admite vectores dispersos, que suelen presentar múltiples dimensiones, pero solo unas pocas tienen valores distintos de cero. Para un documento determinado, los valores de dimensión distintos de cero del vector corresponden a las palabras clave (y sus variaciones) que aparecen en dicho documento.

¿Con qué modelos de integración funciona AI Vector Search?

AI Vector Search debería funcionar con cualquier modelo de incrustación válido que genere vectores con uno de los formatos de dimensión admitidos y 65 535 o menos dimensiones.

¿Qué modelos de incrustado debo considerar utilizar y dónde puedo obtenerlos?

La elección del modelo de integración depende de muchos factores, como la naturaleza de tus datos, las métricas de rendimiento que priorizas y el costo que estás dispuesto a pagar. Los modelos de incrustación de código abierto gratuitos, como varios transformadores de oraciones, se pueden encontrar en Hugging Face y sitios similares. Estos modelos se pueden convertir a ONNX para generar incrustaciones en la base de datos con AI Vector Search. Además, una fuente popular para los mejores modelos de inserción de texto es la Tabla de clasificación MTEB que aloja Hugging Face. También puedes acudir a proveedores de modelos establecidos, como OpenAI y Cohere.

¿Admite AI Vector Search los modelos de incrustación de imágenes?

AI Vector Search admite vectores generados a partir de todos los modelos de incrustación, independientemente de si los modelos son para texto, imágenes, audio, video u otros datos. Oracle AI Database también incluye modelos de incrustación precompilados en ONNX para realizar operaciones de distancia basadas en imágenes con AI Vector Search.

¿Qué operaciones se admiten en vectores?

Los vectores admiten múltiples operaciones matemáticas. La operación más crítica es la función SQL VECTOR_DISTANCE(), que encuentra la distancia matemática entre dos vectores en función de la fórmula de distancia seleccionada. Hay muchas fórmulas de distancia soportadas por Oracle AI Vector Search, entre las que se incluyen euclidiana, euclidiana al cuadrado, similitud de coseno, producto punto, Manhattan, Jaccard y Hamming. La elección de la función de distancia suele estar controlada por el modelo de incrustación utilizado para generar los vectores. Sin embargo, la métrica de distancia por defecto en Oracle AI Database 26ai es la similitud coseno.

¿Cómo se utilizan los vectores en la búsqueda de similitudes?

Todos los vectores comparten la misma propiedad: cuanto más similares sean las dos entidades, menor será la distancia matemática entre ellas. Por ejemplo, los vectores de "manzana" y "naranja" están más cerca que los vectores de "manzana" y "perro". Esta propiedad de los vectores les permite ser utilizados para buscar datos por similitud semántica.

¿Cómo se realiza la búsqueda de AI Vector Search con SQL?

Hay extensiones SQL sencillas e intuitivas que permiten que AI Vector Search se incorpore fácilmente dentro de sus aplicaciones. Dado que la distancia vectorial es una medida de similitud, la búsqueda vectorial de IA implica ordenar el conjunto de vectores candidatos en función de su distancia de un vector de búsqueda y devolver los primeros K coincidencias más cercanas. Por ejemplo, la siguiente consulta encuentra los 10 productos principales con fotografías más similares a la imagen de búsqueda del usuario:

SELECT product_name, product_photo
FROM Product
ORDER BY VECTOR_DISTANCE(product_photo_vector, :search_photo_vector)
FETCH FIRST 10 ROWS ONLY;

¿Cómo puedo utilizar AI Vector Search en consultas complejas relacionadas con datos de negocio?

AI Vector Search se puede utilizar en consultas sofisticadas que implican filtros, uniones, agregaciones, agrupaciones y otros elementos. Por ejemplo, la siguiente consulta se puede utilizar para encontrar los 10 principales productos coincidentes fabricados en California según una foto cargada por un usuario.

SELECT p.name, p.photo, m.name
FROM product p
JOIN manufacturer m ON (p.mfr_id = m.id)
WHERE m.state = 'CA'
ORDER BY VECTOR_DISTANCE(product_photo_vector, :search_photo_vector)
FETCH FIRST 10 ROWS ONLY;

¿Qué son los índices vectoriales y en qué se diferencian de los índices de base de datos tradicionales?

Los índices de base de datos tradicionales se utilizan para acelerar las búsquedas basadas en valores coincidentes. Por ejemplo, un índice de árbol B acelera las consultas y las exploraciones de rango basadas en valores. Los índices vectoriales, por otro lado, están diseñados para encontrar las mejores coincidencias más similares de K basadas en la similitud semántica en lugar de coincidir exactamente con los valores. Por ejemplo, un índice vectorial se puede utilizar para encontrar las palabras K que más se asemejan al significado de "manzana" en un corpus de palabras existentes. El uso de un índice vectorial da como resultado una búsqueda aproximada que intercambia cierta precisión de búsqueda para un rendimiento hasta 100X mayor, ya que evita examinar cada entrada de vector de una columna.

¿Qué son los índices vectoriales de gráficos adyacentes en memoria?

Los índices vectoriales de gráficos adyacentes en memoria son índices alojados en memoria basados en gráficos. Los vértices de la gráfica representan vectores, y los bordes entre los vértices representan la similitud entre los vectores. Oracle AI Vector Search soporta índices vectoriales de gráficos vecinos en memoria del tipo Hierarchical Navigable Small World (HNSW). Los índices HNSW se estructuran utilizando principios de redes mundiales pequeñas y organización jerárquica en capas, lo que los hace extremadamente rápidos y precisos para la búsqueda de similitudes.

¿Qué son los índices vectoriales particionados adyacentes?

Oracle AI Vector Search admite índices de vectores particionados adyacentes del tipo Inverted File Flat (IVF). Los índices de vectores particionados adyacentes son índices de vectores basados en disco en los que los vectores se agrupan en particiones de tabla en función de la similitud. Son un índice de escalabilidad horizontal eficiente con un soporte transaccional rápido y fluido, lo que te permite equilibrar la búsqueda de alta calidad con una velocidad razonable. Están diseñados para adaptarse a tamaños de datos ilimitados, debido al hecho de que no dependen de la memoria.

¿Qué son los índices vectoriales híbridos y en qué se diferencian de los índices de base de datos tradicionales?

Los índices vectoriales híbridos son un nuevo tipo de índice vectorial que permite a los usuarios indexar y consultar fácilmente sus documentos utilizando una combinación de búsqueda de texto completo y búsqueda semántica de vectores para lograr resultados de búsqueda de mayor calidad. Soportan una API de consulta unificada que permite a los usuarios ejecutar consultas textuales, de similitud vectorial o híbridas que aprovechan ambos enfoques.

¿Qué lenguajes de programación se pueden utilizar para desarrollar aplicaciones de AI Vector Search?

Además de SQL y PL/SQL, las aplicaciones AI Vector Search se pueden crear en diversos lenguajes de programación. AI Vector Search incluye soporte de controlador nativo para vectores en lenguajes populares como Java, Python, JavaScript y C#.

¿Qué papel desempeña AI Vector Search en la IA generativa?

AI Vector Search suele formar parte de un flujo de trabajo de generación aumentada de recuperación (RAG). Proporciona las entradas adicionales necesarias para ajustar la respuesta de un modelo de lenguaje grande (LLM) GenAI.

En combinación con la RAG, la pregunta de un usuario se convierte primero en un vector y luego se asigna a los documentos más relevantes dentro de la base de datos a través de AI Vector Search. A continuación, la pregunta del usuario y los documentos pertinentes de apoyo se transmiten al LLM para que pueda generar una respuesta informada basada tanto en su propio conocimiento general como en el conocimiento especializado del almacén de vectores.

¿Con qué LLM opera AI Vector Search?

AI Vector Search se puede utilizar para RAG con cualquier LLM, incluidos los modelos de código abierto, como Llama3 y Mistral, así como los modelos propietarios de proveedores como OpenAI y Cohere. Además, las API PL/SQL especializadas están disponibles para garantizar una integración perfecta entre AI Vector Search y los LLM para RAG.

¿Admite AI Vector Search los marcos y las cadenas de integración de IA?

AI Vector Search está integrado con LangChain y LlamaIndex. Estos marcos pueden ayudar a integrar datos privados y públicos para aplicaciones de modelos de lenguaje de gran tamaño.

¿Cuáles son las ventajas de la generación aumentada de recuperación (RAG)?

La generación aumentada de recuperación (RAG) desempeña un papel fundamental en la IA generativa (GenAI), ofreciendo importantes ventajas a las aplicaciones GenAI. Las siguientes son solo tres razones convincentes por las que resulta primordial integrar RAG en la configuración de GenAI:

1. Minimizar las alucinaciones: Los modelos de lenguaje de gran tamaño (LLM) pueden generar respuestas inexactas o irrelevantes si carecen de un entrenamiento sustancial en prompts. Violver a entrenar los LLM para que estén en línea con las respuestas deseadas a menudo traen consigo costos sustanciales.
2. Protección de la confidencialidad: los LLM están capacitados en información disponible públicamente desde Internet; no conocen los datos específicos de tu empresa. Es probable que no desees enviar información específica de tu empresa a través de Internet, ya que estás regalándola a terceros. En su lugar, considera la idea de mantener los datos de tu empresa dentro de tu dominio utilizando LLM locales dentro de tu centro de datos o arrendamiento en la nube.
3. Información actualizada: los LLM se entrenan hasta una fecha específica; se desconocen los eventos o hechos más recientes. Mediante RAG, el LLM puede proporcionar respuestas basadas en información actualizada de una base de datos vectorial proporcionada a través del prompt. Esto significa que el LLM dispondrá de los datos más recientes de tu empresa sin necesidad de entrenar el LLM.

¿Cómo puedo ampliar la búsqueda vectorial de IA para satisfacer las crecientes necesidades de mi aplicación?

Los amplios mecanismos de escalabilidad de Oracle, como la ejecución en paralelo, las particiones, Real Application Clusters (Oracle RAC), Sharding y Exadata, pueden escalar verticalmente AI Vector Search a prácticamente cualquier tamaño de datos y número de usuarios.

¿Aporta alguna ventaja en la ejecución de AI Vector Search en Oracle Exadata?

Los amplios mecanismos de escalabilidad de Oracle, como la ejecución en paralelo, las particiones, Oracle Real Application Clusters (Oracle RAC), Sharding y Exadata, pueden escalar verticalmente AI Vector Search a prácticamente cualquier tamaño de datos y número de usuarios. Oracle Exadata también incluye AI Smart Scan, que descarga las operaciones de consulta de AI Vector Search en Exadata Storage Servers para un rendimiento de consulta sin precedentes.

¿Cómo proporciona Oracle seguridad de datos para vectores?

Oracle AI Vector Search se integra perfectamente con las funciones de seguridad líderes en la industria de Oracle para reducir el riesgo y simplificar el cumplimiento normativo. Aprovechando herramientas robustas, como cifrado, enmascaramiento de datos, controles de acceso para usuarios privilegiados, monitoreo de actividad y auditoría, las organizaciones pueden proteger sus datos mientras aprovechan al máximo las capacidades avanzadas de búsqueda con IA. Las funciones en la base de datos, como Database Vault y Virtual Private Database, ayudan a proteger los datos vectoriales y a garantizar que solo los usuarios con los privilegios adecuados puedan acceder a ellos.

Esto significa que Oracle AI Vector Search puede reducir significativamente la huella de la infraestructura vectorial de una empresa. Una única instancia de Oracle AI Database puede abordar las necesidades de varios usuarios diferentes con diferentes permisos de acceso y autorización sin necesidad de duplicar datos ni incurrir en gestiones excesivas, como suele ocurrir con otras bases de datos vectoriales.

¿Cómo proporciona Oracle capacidades de alta disponibilidad y recuperación ante desastres para vectores?

Los vectores en Oracle AI Database son tipos de datos de primera clase dentro de la base de datos. Esto significa que los vectores heredan implícitamente todas las funciones y capacidades innovadoras que convierten a Oracle en la base de datos empresarial líder en el mundo. La alta disponibilidad (HA) se proporciona al ejecutar búsquedas de similitud en Oracle RAC u Oracle Globally Distributed Database (fragmentación). Data Guard, Active Data Guard y Oracle GoldenGate pueden proporcionar automáticamente recuperación ante desastres.