通义灵码企业推理服务配置 - 一站式SFT模型微调服务

9.4.2. 企业推理服务配置

通义灵码灵码企业版基于百炼平台提供一站式SFT模型微调服务，支持企业私有化模型快速接入与精准管控，实现业务场景定制化适配。

背景信息

在公共云上，许多中大型客户对企业的个性化需求提出了更高的要求，希望通过模型微调SFT（Supervised Fine-Tuning）来实现更贴合自身业务场景的定制化适配。为此，公共云百炼平台提供了从数据准备、模型微调训练到推理部署的一站式解决方案，全面支持模型的SFT相关能力。通义灵码灵码可以无缝集成百炼的能力，快速响应并满足客户在模型微调和个性化适配方面的需求，助力企业高效实现定制化目标。

前提条件

1. 服务购买

   • 已开通百炼平台模型训练服务。若未开通可前往百炼控制台开通百炼控制台开通。

   • 已购买通义灵码灵码企业版（标准版/专属版）。具体请参见企业标准版快速入门、企业专属版快速入门。

2. 获取推理服务 API

   • 通过百炼平台（或其他支持的模型服务平台）完成 SFT 模型的部署。具体请参见。

   • 生成推理服务 API地址，并记录 API URL、模型名称、API Key等关键信息。具体请参见首次调用通义千问API。

说明

目前仅支持百炼平台和 DeepSeek 平台的推理模型。

企业管理员完成自有推理服务 API 配置后，通义灵码灵码系统需确保：当企业授权开发者使用通义灵码灵码相关服务时，系统将自动调用企业内部配置的模型服务。

操作步骤

登录灵码控制台，在左侧导航栏选择策略配置 > 推理服务配置。

1. 在推理服务配置页面中，针对所需的场景（这里以AI程序员场景为例），完成模型服务配置：

   • 启用模型服务配置的开关。

   • 填写模型的URL地址、模型名称、API密钥信息。

2. 然后单击测试连接。

   • 成功提示：模型服务连接成功。

   • 失败提示：模型服务连接失败，请确保配置内容准确后重新测试。

3. 最后单击保存配置。

在IDE中，登录企业版账号，在所对应场景标签里，即可看到所配置的模型。

免责声明

重要

本服务支持连接客户自有的第三方模型，对于这些第三方模型的可用性、合规性及安全性，通义灵码灵码不承担任何责任。请您在使用前仔细评估并查阅相关第三方许可协议，确保您的使用行为合法且符合法规要求。