type
status
date
slug
summary
tags
category
icon
password
Google Colab作为一个免费的云端计算平台，提供了强大的GPU资源支持。如果将写好的 ai 应用代码发布到 github上，并借助github 上 codespaces 来调用 colab 的算力来运行大模型的话， 我们就能打造一个低成本的大模型云运行环境，将codespaces与Colab的优势结合，打造一个突破本地硬件限制的AI应用，那么开始实践吧。
在 Google Colab 上免费运行 Ollama 和使用 LLM 模型
在 Google Colab 上启动和运行 Ollama 所需的步骤
让我们不要浪费时间，直接开始了解使用大型语言模型所需的步骤。
步骤 1：安装软件包
在 Google Colab 笔记本中安装和加载模块
步骤 2：打开终端
安装完成后，我们需要打开终端以访问Google Colab上的命令行
一个终端将会打开，你会在笔记本中看到类似这样的内容。
步骤 3：安装 Ollama
在终端中运行以下命令来安装 Ollama：
步骤 4：拉取所需模型
Ollama 支持相当多的模型，这些模型的列表可以在其官方网站以下地址找到：https://ollama.com/library 请在终端中输入以下命令：
步骤 5：构建 colab内网穿透隧道
多种尝试可以在colab 上进行内网穿透上述设置。下面我尝试使用 ngrok 来搭建穿透环境，首先下载 ngrok：
注册登录 ngrok 网站 https://ngrok.com/，按照里面 getting start 引导，选择 linux 的指引，你应该会看到网站提示你运行下面的命令来配置 ngrok.yml
为我们的 ollama 服务映射端口吧
下面应该可以通过隧道形式访问 ollama 服务了
步骤 6：codespaces 访问 ollama 隧道接口
在 ngrok 中找到我们定向到的隧道链接，原图裂开，导航栏寻找 endpoints 即可
codespaces 项目中新建一个测试 js
运行代码：
测试通过后我们就可顺利完成远程调用 ollama 服务了
📎 参考文章
- 运行 ollma 到 colab 引文 - 运行 ollma 到 colab 引文
- ‣ - 一个在 Colab 上测试 Ollama RAG 功能的示例笔记本。
- Hugging Face Transformers - 用于模型处理和转换的工具库
有关Notion安装或者使用上的问题，欢迎您在底部评论区留言，一起交流~