Skip to content

快速开始

1. 登录服务商控制台

打开 服务商控制台,使用平台账号登录即可进入,用户端与服务商端共享登录状态

2. 下载节点程序

进入“节点接入”,选择 Linux amd64 或 arm64 的版本化节点程序并下载到独立运行目录:

bash
# 创建节点目录
mkdir -p ~/imrouter-node
# 进入节点目录
cd ~/imrouter-node
# 下载节点程序(Linux amd64 v0.1.91)
wget http://store.imrouter.com/linux/amd64/v0.1.91/imrouter
# 赋予节点程序执行权限
chmod +x ./imrouter

示例命令适用于Linux amd64。其他CPU架构或平台发布新版本后,应从服务商控制台“节点接入”页面复制对应架构的当前下载地址,不要自行拼接对象路径。节点程序和登录生成的凭证应放在同一个可长期保留的运行目录

3. 登录并启动节点

bash
# 登录并接入平台
./imrouter login
# 查看线上模型列表
./imrouter list
# 查看模型详细信息
./imrouter show Qwen3.5-0.8B
# 安装 CUDA Toolkit 12.9
./imrouter cuda install --version 12.9 --accept-license
# 查看已安装的 CUDA 版本
./imrouter cuda list
# 校验 CUDA Toolkit 12.9
./imrouter cuda verify --version 12.9
# 安装推理引擎(默认最新 vLLM)
./imrouter engine install
# 检查节点环境
./imrouter check
# 下载模型
./imrouter pull Qwen3.5-0.8B
# 查看本地已下载模型
./imrouter list --local
# 启动节点服务
./imrouter serve --model Qwen3.5-0.8B

示例中的 Qwen3.5-0.8B 需要替换为模型仓库中的实际模型 ID。login 会使用服务商账号和邮箱验证码签发 proof.cert.proof.key,请让它们与节点程序保持在同一目录,且不要公开或复制到其他机器

节点机器需要预先安装可用的NVIDIA驱动,并提供xz和可供nvcc调用的C/C++编译器;CUDA Toolkit、uv、Python、PyTorch和vLLM均可由节点安装。没有可用驱动时可先阅读NVIDIA 显卡驱动安装。示例安装节点私有CUDA Toolkit 12.9;应安装不高于nvidia-smi所示驱动上限的最高内置版本,依次选择12.9、12.8或12.6,驱动上限低于12.6时应先升级驱动。需要全局nvcc/usr/local/cuda时,可改用CUDA Toolkit 安装中的系统级脚本。ARM64私有CUDA安装仅支持SBSA服务器,Jetson/Tegra需要自行提供兼容的系统Toolkit。pull会从平台获取ModelScope不可变快照并完成文件校验;按上述步骤在节点程序目录中执行命令时,模型保存在同目录下的models。节点通过上线自检后,可在服务商控制台查看在线状态。详细参数和排障方法见节点接入与管理

成功完成客户请求后会产生收益,详见 收益结算与提现

如需自主设置模型价格,可先开通专属路由并把对应节点切换为专属模式。平台会为专属节点已启用模型自动生成商品,服务商在“模型仓库”中改价、发布或下架;用户使用 username@模型名 调用,平台不参与该专属请求分成

开通专属页面后,可在供应端“专属页面”维护 Markdown 介绍,并免费使用“暖阳商务”“机甲矩阵”“极简名片”“极光云境”“企业蓝图”“东方墨境”等全部内置页面模板

每张模板卡片都提供“预览”和“应用模板”按钮。“预览”会在新标签页打开使用固定示例数据的完整页面,不会修改当前模板;“应用模板”会立即更新 /providers/{username} 公开页面,当前模板会显示“已应用”。尚未开通专属页面时仍可预览,开通后才能应用。切换模板不会改变公开链接、介绍、在线模型或节点数据

imrouter 文档