Used to check for browser translation.
用于检测浏览器翻译。
ブラウザの翻訳を検出する

在AIGNE Studio中使用 Ollama 运行的本地模型

Yechao Li
2024年8月10日 · edited
B
Blogs
cover

AIGNE 现已支持用户接入自己运行的 Ollama 服务 🎉。这种接入方式具有高度的可扩展性,不仅适用于 Ollama,还可以支持其他 LLM 提供商或用户自行运行的开源 LLM 服务。接下来,让我们一起探索 AIGNE 的 LLM 适配器特性吧!

什么是 LLM 适配器?#

LLM 适配器是一项用于增强 AIGNE 能力的功能。通过 LLM 适配器,开发者可以轻松地将任意大语言模型(LLM)集成到 AIGNE 中。正如本文所述,你可以自行运行一个 LLM 服务,并在 AIGNE 中使用它来替代内置的 AI 服务。

Ollama 是什么?#

Ollama 是一个专注于 AI 驱动的语言生成和自然语言处理平台。通过其先进的模型和技术,Ollama 能够帮助用户生成高质量、个性化的文本内容,无论是用于创作、交流还是数据分析。平台以用户友好的界面和强大的功能著称,支持多种语言和场景应用,适合各行业的内容创作和语言处理需求。Ollama 不仅提供自动化的解决方案,还能通过深度学习技术不断优化和改进生成的内容,确保精准性和创新性。

在 AINGE 中接入 Ollama 🚀#

安装并启动 Ollama#

参考 Ollama 官方文档,在你的电脑上安装并启动 Ollama 应用(注意运行 Ollama 需要有 GPU 硬件支持,具体请参考官方文档)

下载模型#

在系统 Terminal 中运行下面的命令下载 llama3.1 模型,当然你也可以下载任意其他模型 https://ollama.com/library

ollama pull llama3.1

在 AIGNE 中接入 Ollama#

现在,你已经准备好在 AIGNE 中发挥无限创意了!只需打开 AIGNE 项目,创建一个 Agent,在 LLM Provider 中选择 Ollama,并配置相应的参数:

  • model:输入你想要使用的模型名称(需为已安装的模型,参考上方的模型下载步骤)。
  • url:填写 http://127.0.0.1:11434/api/chat (请将 IP 地址替换为你运行 Ollama 服务的计算机的 IP 地址)。
注意:需要保证运行 AIGNE 的服务器和运行 Ollama 的服务器在同一网络(能够互相访问),如果你是在本地机器上面跑的 Ollama,那么就只能使用本地运行的 AIGNE 来连接。


完成这些设置后,你就可以在 AIGNE 中自由使用自己的 LLM 服务了。尽情释放你的创意吧,探索无限可能!🎉

结语#

我们致力于持续更新和扩展 AIGNE 对各种 LLM 服务的支持,为广大用户提供更多选择。如果你有想要集成的 LLM 服务,欢迎贡献你的想法,我们会全力支持💪。此外,也诚挚邀请具备技术能力的用户开发并提交自己的 LLM Adapter,将其发布到我们的 Blocklet Store 中,为社区提供更多服务👏!你的创意和贡献将帮助我们共同打造一个更加多元化和强大的生态系统。


2.1.4