概要
反復的なタスクを合理化したり、完全に自動化したりするために、AIの助けを借りないのはなぜですか?基礎モデルを使用して反復的なタスクを自動化すると魅力的に聞こえるかもしれませんが、機密データが危険にさらされる可能性があります。Retrieval-augmented generation (RAG)は、推論データをモデルのコーパスから分離して、ファインチューニングの代替手段です。
推論データとモデルを分離したままにしたいのですが、大規模言語モデル(LLM)と強力なGPUを使用して効率化したいと考えています。これを一つのGPUでできると想像してみてください!
このデモでは、単一のNVIDIA A10 GPU、LangChain、LlamaIndex、Qdrant、vLLMなどのオープン・ソース・フレームワーク、およびMistral AIからの70億パラメータ軽量のLLMを使用して、RAGソリューションをデプロイする方法を示します。これは、価格とパフォーマンスの優れたバランスであり、必要に応じてデータを更新しながら推論データを分離します。
デモ
前提条件と設定
- Oracle Cloudアカウント- サインアップ・ページ
- Oracle GPUコンピュート・インスタンス- ドキュメンテーション
- LlamaIndex - ドキュメント
- LangChain - ドキュメント
- vLLM—ドキュメント
- Qdrant—ドキュメント