在 AIGNE Studio 中使用 Ollama 串接自架模型

AIGNE 現已支援使用者連接自己執行中的 Ollama 服務 🎉。這種接入方式擴充性極高,不僅適用於 Ollama,也支援使用者自行架設的其他 LLM 供應商或開源 LLM 服務。接下來,讓我們一起認識 AIGNE 的 LLM 轉接器功能!

Ollama LLM Adapter

什麼是 LLM 轉接器?

LLM 轉接器是強化 AIGNE 功能的一項特性。透過 LLM 轉接器,開發者能輕鬆將任何大型語言模型(LLM)整合進 AIGNE。如本文所述,你可以自行架設 LLM 服務,並在 AIGNE 中使用它來取代內建的 AI 服務。

什麼是 Ollama?

Ollama 是一個專注於 AI 的語言生成與自然語言處理平台。透過其先進的模型與技術,Ollama 能協助使用者生成高品質、個人化的文字內容,適用於寫作、溝通或數據分析等場景。該平台以直覺易用的介面與強大功能著稱,支援多種語言與應用情境,適合各行各業在內容創作與語言處理方面的需求。Ollama 不僅提供自動化解決方案,更透過深度學習技術持續優化與改進生成內容,確保準確性與創新性。

Ollama

在 AIGNE 中連接 Ollama 🚀

安裝並啟動 Ollama

請參考官方 Ollama 文件,在你的電腦上安裝並啟動 Ollama 應用程式(請注意,執行 Ollama 需要 GPU 硬體支援,詳情請參閱官方文件)

下載模型

在系統終端機中執行以下指令,下載 llama3.1 模型,你也可以從 https://ollama.com/library 下載其他任意模型

ollama pull llama3.1

將 Ollama 連接至 AIGNE

現在,你已準備好在 AIGNE 中盡情發揮無限創意!只要開啟 AIGNE 專案、建立一個 Agent,並在 LLM Provider 中選擇 Ollama,再設定對應參數即可:

注意 AIGNE 的伺服器與執行 Ollama 的伺服器位於同一網路(彼此可互相存取)。若你是在本機上執行 Ollama,則僅能透過在本機執行的 AIGNE 進行連接。

完成上述設定後,你便能在 AIGNE 中自由使用自己的 LLM 服務。釋放你的創造力,探索無限可能! 🎉

結語

我們致力於持續更新並擴充 AIGNE 對各種 LLM 服務的支援,為使用者提供更多元的選擇。如果你有想要整合的 LLM 服務,歡迎提供你的想法,我們將全力支援你 💪。此外,我們也誠摯邀請具備技術能力的使用者開發並提交自己的 LLM Adapter,發布於 Blocklet Store,為社群提供更多服務 👏!你的創意與貢獻,將協助我們共同打造更多元、更強大的生態系統。

ArcBlock Community