Aprovechamiento de modelos de intercambio de redes neuronales abiertas para vectorizar contenido en PDF
Introducción
Mientras que la consulta de modelos de lenguaje grandes (LLM) externos para obtener respuestas a preguntas a menudo resolverá un problema, los requisitos para hacerlo pueden diferir ligeramente de la búsqueda de repositorios internos de conocimiento corporativo y conjuntos de datos.
Imagine que una organización que realiza investigaciones internas tiene varios PDF que deben ser buscados por un motor de búsqueda de IA en lugar de LLM públicos para obtener respuestas relevantes. También existe la posibilidad de utilizar consultas tradicionales del sistema de gestión de bases de datos relacionales junto con consultas de IA generativa para que la búsqueda sea más potente.
Esta solución demuestra cómo utilizar los conceptos de Open Neural Network Exchange (ONNX), crear nuestros propios modelos ONNX y utilizar estos modelos para leer PDF y vectorizar contenido, desarrollando en última instancia un motor de búsqueda basado en vectores de Oracle APEX que puede consultar repositorios de conocimientos internos (y, a veces, también consultar LLM externos).
Demostración
Requisitos y configuración
- Cuenta de Oracle Cloud—página de registro
- Oracle Database 23ai—documentación
- Oracle Machine Learning for Python: documentación
- ONNX: documentación
- Oracle APEX: documentación