AI Blueprints

가상 대규모 언어 모델(vLLM)이라는 오픈 소스 인터페이스 엔진을 사용해 대규모 언어 모델(LLM) 및 비전 언어 모델(VLM)의 배포를 간소화할 수 있습니다. 커스텀 모델을 배포할 수도 있고, Hugging Face의 다양한 오픈 모델을 선택해 사용할 수도 있습니다.

MLCommons 방법론을 사용해 미세 조정을 위한 인프라 벤치마킹을 간소화할 수 있습니다. 표준 데이터 세트를 사용해 정량화된 Llama-2-70B 모델을 미세 조정합니다.

OCI AI Blueprints는 LLM 매우 효율적인 미세 조정 방법인 낮은 순위 적응(LoRA)을 사용한 효율적인 모델 튜닝을 지원합니다. 커스텀 LLM을 미세 조정할 수도 있고, Hugging Face에서 제공되는 대부분의 오픈 LLM을 사용할 수도 있습니다.

운영 또는 연구 워크로드를 배포하기에 앞서 철저한 GPU 상태 검증을 위한 강력한 사전 점검 블루프린트를 사용해 문제를 사전에 감지하고 해결할 수 있습니다. GPU 인프라가 단일 노드 및 멀티 노드 환경 모두에서 고사양 실험을 수행할 준비가 되어 있는지 확인합니다.

Mistral, Gemma 등 다양한 모델을 지원하는 Ollama 플랫폼을 사용해 CPU 상에 LLM을 배포하기 위한 포괄적인 프레임워크를 채택할 수 있습니다.

이 블루프린트를 사용하면 추론 서비스를 여러 컴퓨팅 노드에 분산시킬 수 있고, 각 노드에는 일반적으로 한 개 이상의 GPU가 장착되어 있습니다. 예를 들어 vLLM 및 LeaderWorkerSet을 사용하는 RDMA를 통해 여러 H100 노드에 Llama 405B 사이즈의 LLM을 배포할 수 있습니다.

KEDA를 사용한 자동 확장을 지원하는 LLM을 배포할 수 있습니다. 추론 지연 시간과 같은 애플리케이션 메트릭을 사용해 여러 GPU 및 노드로 확장 가능합니다.

NVIDIA의 다중 인스턴스 GPU를 활용해 개별 GPU 중 일부에 LLM을 배포하고 vLLM을 통해 제공할 수 있습니다.