1. Oracle 台灣
  2. 雲端
  3. 人工智慧

AI 解決方案中心

邁入新生產力時代，為您的企業採用生成式 AI 解決方案。根據您的需求，在整個堆疊中運用內嵌的 AI。

洽詢 AI 專家

人工智慧

電腦視覺

擷取和摘要

生成

推論

模型開發

自然語言處理

檢索增強生成

情緒分析

語音辨識

典型案例

使用 OCI Generative AI 建置

觀看解決方案範例影片 (1:36)

透過託管服務利用 LLM 的強大功能

在快節奏的軟體發展領域，隨時掌握最新資訊至關重要。想像一下，如果有個 AI 助理能夠迅速將複雜的網頁內容轉換成簡潔、易懂又方便分享的資訊，那將會是多麼好。Oracle Cloud Infrastructure (OCI) Generative AI 正是能協助您實現這一目標的功能之一。

以下是使用 OCI Generative AI 打造這類 AI 助理的範例。

這款 AI 驅動的 GitHub 熱門專案摘要工具是一個個人化內容生成引擎，能自動擷取並摘要排名前 25 的 GitHub 熱門專案。OCI Generative AI 可擷取、讀取每個專案的 README 檔案，並將其編譯成精簡、有趣且包含大量資訊的摘要，以方便與他人分享。

立即試用，可在 GitHub 上查看詳細步驟與範例程式碼。

選擇模型

只要修改 summarize_llm.py 中的 model_id 變數，即可輕鬆在 OCI Generative AI 提供的多個 LLM 之間切換。

  • cohere.command-r-16k：用於文字生成、摘要和翻譯等通用語言任務的通用模型，上下文大小為 16K 標記，能夠在效能和成本效益之間取得了良好的平衡，非常適合用來建置對話式 AI。
  • cohere.command-r-plus：這是一個增強版，具有更複雜的理解能力和更深入的語言能力，適合需要細微回應和更高處理能力的複雜任務。
  • meta.llama-3.3-70b-instruct：70B 參數模型，具有 128K 標記上下文長度，支援多種語言。
  • meta.llama-3.1-405b-instruct：最大的公開可用 LLM (405B 參數)，在推理、合成資料生成和工具使用方面具有強大功能，非常適合需要高效能的企業應程式。

上述為可用模型的子集。我們將不斷提供更新的模型。

以下是呼叫 OCI Generative AI 的程式碼片段：

content.text = """Generate an abstractive summary of the given Markdown contents. Here are the contents to summarize: {}""".format(summary_txt)


chat_detail.content = content.text 

chat_detail.serving_mode = oci.generative_ai_inference.models.OnDemandServingMode(model_id="meta.llama-3.1-405b-instruct") # configurable model chat_response = generative_ai_inference_client.chat(chat_detail)

將 OCI Generative AI Agents 與 RAG 結合使用

觀看解決方案範例影片 (1:44)

改善知識庫的存取

檢索增強生成 (RAG) 是最重要的 AI 使用案例之一。RAG 可以在不重新訓練 LLM 的情況下增強 LLM 的知識。這是讓 LLM 從資料庫或其他地方提取新資訊並快速呈現給最終用戶的方法。

這樣一來，無論何時訓練 LLM 以及何時執行推理，LLM 都可以獲取最新的知識。因此，更新的資料幾乎不費吹灰之力就可以讓 LLM 更聰明。

將文件上傳到 Oracle Cloud Infrastructure (OCI) GenAI Agents 後，該服務將處理資料，並提供透過聊天機器人使用資料的方法。

立即試用，可在 GitHub 上查看詳細步驟與範例程式碼。

以下是在 OCI 中使用 RAG 代理的程式碼片段：

# ask a question to RAG agent question = "What steps do I take if I have a new patient under the patient admission recommendations?" # Initialize service client with default config file agent_runtime_client = GenerativeAiAgentRuntimeClient(config)


chat_response = agent_runtime_client.chat( agent_endpoint_id="ocid1.test.oc1..<id>", chat_details=ChatDetails(user_message=question)) 

# Get the data from response print(chat_response.data)

使用 Oracle HeatWave GenAI 建置

觀看解決方案範例影片 (3:54)

透過整合式 GenAI 加速 AppDev

正如本案例所示，生成式 AI 尤其擅長總結情緒。電子商務網站可能有數百個庫存單位 (SKU)，每個庫存單位有數十條評論。為了協助快速總結產品評論，開發人員可以利用 HeatWave GenAI 的整合功能，使用資料庫內的大型語言模型和自動化的資料庫內向量儲存。

HeatWave GenAI 還可以根據需要協助翻譯和分析情緒。所有操作均可透過 HeatWave GenAI 自動化，並在新增新評論時保持摘要保持最新狀態。

透過將資料和處理保留在 HeatWave 內，開發人員可以根據 GenAI 需求擴展解決方案，讓 AI 就像資料庫查詢一樣簡單。

立即試用，可在 GitHub 上查看詳細步驟與範例程式碼。

下面的程式碼片段說明了如何總結正面評價：

SELECT "################### Computing summaries for EXISTING reviews on a product ###################" AS "";

SELECT "" AS "";

CALL SUMMARIZE_TRANSLATE(1, "POSITIVE", "en", @positive_english_summary);
SELECT @positive_english_summary AS "--- English summary of positive reviews on the T-Shirt ---";

在 OCI 上使用開源模型建置

觀看解決方案範例影片 (1:30)

在統一平台上運用開源 GenAI 模型

開源 LLM (例如 Hugging Face 建立的 LLM) 是功能強大的工具，可讓開發人員以相對快速的方式嘗試 GenAI 解決方案。Kubernetes 與 Oracle Cloud Infrastructure (OCI) 結合，可擴展 GenAI 解決方案，同時提供彈性、可移植性及抗逆力。

在此示範中，您將看到在 OCI Kubernetes Engine 上部署經過微調的 LLM 推理容器是多麼容易，OCI Kubernetes Engine 是一種託管的 Kubernetes 服務，可簡化企業的大規模部署和操作。該服務協助開發人員在自己的租賃範圍內保留自訂模型和資料集，而無需依賴第三方推理 API。

我們將使用文字生成推理作為推理框架來公開 LLM。

立即試用，可在 GitHub 上查看詳細步驟與範例程式碼。

下面的程式碼片段說明了如何部署開源 LLM：

# select model from HuggingFace

model=HuggingFaceH4/zephyr-7b-beta


# deploy selected model
docker run ghcr.io/huggingface/text-generation-inference:2.0 --model-id $model

# invoke the deployed model
curl IP_address:port/generate_stream \
    -X POST \
    -d '{"inputs":"What is Deep Learning?","parameters":{"max_new_tokens":50}}' \
    -H 'Content-Type: application/json'

使用 Oracle Code Assist 建置

觀看解決方案範例影片 (3:40)

提升開發人員的生產力並增強程式碼的一致性

Oracle Code Assist 是一款 AI 程式碼夥伴，旨在協助提高開發人員的速度並提高程式碼的一致性。Oracle Code Assist 由 Oracle Cloud Infrastructure (OCI) 上的大型語言模型 (LLM) 提供支援，並針對 OCI 上的 Java、SQL 和應用程式開發進行微調和最佳化，為開發人員提供相關資訊環境特定建議。您可以根據組織的最佳實務和程式碼庫加以自訂。

該工具目前處於測試階段，適用於 JetBrains IntelliJ IDEA 和 Microsoft Visual Studio Code，可協助編寫文件、理解舊程式碼和完成程式碼。

若要瞭解如何加入測試版方案並開始使用，請造訪我們的 GitHub 儲存庫。

OCI AI Blueprints

Oracle Cloud Infrastructure (OCI) AI Blueprints 提供完整的硬體建議、軟體元件以及立即可用的監控工具，將助您在短短數分鐘內部署、擴展並監控 GenAI 工作負載。

    • 使用 vLLM 有效部署和擴展 LLM，輕鬆實現超快速推論和無縫整合。

    • 選擇自訂模型，或透過 Hugging Face 選擇各種開源模型。

    • 在 OCI Object Storage 中自動佈建 GPU 節點和儲存模型。

    • 取得立即可用的 API 端點，以進行即時模型推論。

    • 根據關鍵任務應用程式的推論延遲啟用自動調整功能。

    • 輕鬆整合及調整推論工作負載，無需深厚的技術專業知識。

    • 使用內建的可觀察性工具 (例如 Prometheus 和 Grafana) 監控效能。

    • 精明微調，事半功倍 — 透過資料洞察評估效能，優化 AI 訓練流程。

    • 使用 MLCommons 方法對微調效能進行基準測試。

    • 使用標準化資料集對量化的 Llama 2 70B 模型進行微調。

    • 追蹤訓練時間、資源使用率和效能指標。

    • 自動在 MLflow 中記錄結果，並以視覺化方式呈現 Grafana 的洞察分析。

    • 做出資料導向的基礎架構決策，以優化微調工作。

    • 透過低秩自適應 (LoRA) 增強 LLM 微調，更快、更有效率且可隨時部署。

    • 使用 LoRA，以最少的運算負荷，有效率地微調 LLM。

    • 運用來自 Hugging Face 的自訂資料集或公開可用的資料集進行訓練。

    • 在整個微調過程中追蹤和分析 MLflow 中記錄的詳細訓練指標。

    • 將微調後的模型和訓練結果儲存在物件儲存桶中，實現無縫部署。

    • 透過有助於確保快速、有效的模型適配且無需大量使用資源的設計來優化效能。

    • 視需要擴展解決方案，從小資料集到大規模模型微調。