二、核心场景操作说明

场景1：搭建RAG应用

操作流程

步骤一：准备知识库

本步骤的目的是创建一个的【知识库】供大模型在问答、对话、文本生成等任务中参考使用，提升模型的表现。知识库的创建来源支持本地上传、本部门共享知识库、申请其他部门共享的知识库。

1.选择【知识数据中心-知识库】菜单，进入知识库管理界面。点击“创建项目知识库”

2.进入项目知识库的新建页面，填写知识库基本信息，选择对应的数据源创建项目知识库。

1）选择数据源

导入已有文本：从本地上传，支持txt、markdown、pdf、html、xlsx、xls、docx、csv等文件类型，在大小不超过15MB的情况下可批量添加文件至页面，点击“下一步”后可进入文本分段与清洗的配置页面。

本单位知识库：用户能够选择本单位管理员创建的未分段的文件知识库。

已申请知识库：能够选择知识库广场中（已审批授权给本单位使用的）其他单位的文件知识库。

3.准备知识内容。

这里以“导入已有文本”为例，从本地上传。

4.文本分段与清洗。

1）分段设置

自动分段与清洗（推荐）：系统自动设置分段规则，对文件内容进行分段。 自定义（进阶）：用户可根据需求自行设置分段标识符、分段最大长度、分段重叠长度、选择文本预处理规则（可选择是否替换掉连续的空格、换行符和制表符，是否删除所有的URL和电子邮箱地址）。 采用Q&A分段模式（进阶）：开启后，大模型会自动对文档内容进行分段，并生成QA问答对，这种方式对相关问题的召回准确率更高，但需要对问答对质量有更严格的把控能力。

这里选择“自动分段与清洗”。

2)检索模式 混合检索：同时执行全文检索和向量检索，并应用重排序步骤，从两类查询结果中选择匹配用户问题的最佳结果。注意选择后需要选择一个ReRank重排序模型。向量检索：通过生成查询嵌入并查询与其向量表示最相似的文本分段。适用于通过语义匹配知识库内容的场景。

全文检索：索引文档中的所有词汇，从而允许用户查询任意词汇，并返回包含这些词汇的文本片段。适用于通过关键字匹配知识库内容的场景。

这里我们保持系统默认选项。

点击“保存并处理”进入下一步

5.处理并完成

当前页面能够查看文件解析的进度。文件解析动作由系统在后台完成，可以直接点击“前往知识库详情页”按钮进入知识库详情页查看文件列表和解析进度。

步骤二：创建应用

选择【智能编排中心-应用管理】，点击【新建AI应用】

应用类型分为聊天机器人、文本生成、Agent、工作流四个类别。

聊天助手：基于LLM构建对话式交互的助手

文本生成：构建面向文本生成类任务的助手，例如撰写故事、文本分类、翻译等

Agent：能够分解任务、推理思考、调用工具的对话式智能助手

工作流：基于流程编排的方式定义更加灵活的LLM工作流

这里以聊天助手为例，应用类型选择“聊天助手”，编排方法选择“快捷模式”

确认后即可进入应用配置界面

步骤三：配置应用

应用创建完成后即可进入配置页面，在该页面能够对应用进行相关设置，从而变成一个可以使用的应用。

1.设置提示词

提示词是用户输入的一段文本或指令，用于引导大型语言模型生成特定的输出。

示例如下，可根据实际情况进行调整：

背景

杭州市政府会持续发布对民众公开的法律法规及政策文件，文件内容较多，需要进行查找。

角色

你是一位法律咨询与政策解读专家，负责为用户进行法律及政策内容的搜索与解读。

目标

根据用户问题精确检索相关内容，给出相关内容的总结，并对内容进行解读，帮助用户更好的理解其含义、背景、目的或重要性。

关键结果

回答内容需要包含“主要内容”、“内容解读”两个部分，主要内容是与用户问题相关的知识内容，内容解读是对相关内容的解读说明。

试验并调整

根据收到的反馈来调整生成内容，如果有些策略、方法货资源不太有效，寻找新的策略或资源来替代。

2.配置知识库

1）在上下文中点击“添加”按钮，在应用中添加维护好的知识库。

2）打开“引用和归属”功能

打开后，能够在回复中查看引用的对应文件内容，提高回复的可信度。

3.应用调试，测试效果

步骤四：发布应用

完成应用调试后，可在应用详情的右上角“发布”按钮中，对当前应用进行发布。发布完成后，应用即可在独立窗口中进行访问。

可保留对话窗口地址，进行分享与快速访问。

场景2：微调大语言模型

操作流程

步骤一：准备训练数据集

本步骤主要介绍了准备模型训练所需数据的操作说明。

1.进入知识数据中心-数据集，创建数据集

2.填写数据集信息，类别选择微调，类型选择SFT-文本生成

3.进入创建好的数据集

选择“新增”或“导入”

这里以导入为例，下载数据模板，instruction为用户问题，output为模型回答，system为系统提示词，history可填写历史对话（history需注意保持模板数据格式）。填入训练数据后上传。

导入后，还可在线编辑调整，确认数据无误后，点击“发布”数据集方能生效，发布后不可编 辑。如需继续修改，可通过“新增版本” 选择“继承已有版本数据”，确定后生成V0002版本，基于新的版本进行修改。

步骤二：创建训练任务

本步骤主要介绍了模型微调的操作配置方法。

1.创建训练任务，进入模型训练中心-模型训练，选择“创建训练任务”任务类型选择模型微调

2.配置训练任务，包括训练对象、训练方法、训练数据集等

1）模型类型：

我的模型：在“模型管理”手动上传的模型，或者通过模型训练任务训练好的模型； 平台预置模型：平台预先上传的公共模型，包含通义千问系列的7B、14B、32B72B大语言模型； 部门申请模型：在“模型广场”申请的其他部门公开模型，经对应部门管理员审批后可使用；

2）训练方法：

全参数微调：全参微调会在模型训练中更新模型的全量参数，一般效果较好，但模型训练时间较长。

LoRA（推荐）：LoRA训练属于高效训练的一种，会在固定模型本身参数的基础上，仅对自注意力权重矩阵进行低秩分解，并更新低秩矩阵参数。该训练方法训练时间短，但效果可能会略差于全参微调。

QLoRA：QLoRA训练属于高效训练的一种，会在固定并量化模型本身参数的基础上，仅对自注意力权重矩阵进行低秩分解，并更新低秩矩阵参数。该训练方法训练时间短，但效果可能会略差于全参微调和LoRA。

3.配置训练任务的资源 资源组：1）“智能中枢（公共）”是平台提供了公共的训练池，可直接使用。平台会记录和统计训练任务所消耗的卡时。2）其他的资源组均为部门管理员配置提供，具体可跟部门管理员咨询。

节点数：运行训练任务的工作节点。一个节点通常对应一台EGS主机。 节点规格：根据实际训练对象，选择适配的规格；

说明：推荐尽量将训练任务放在同一个节点运行，不同节点之间会有较大的数据传输通讯开销，整体训练速度可能反而不如单节点运行的快。

4.超参数配置，根据实际情况调整

5.完成训练

点击“确认”后即可自动开始运行训练任务。进入训练任务详情页，可查看对应任务的“运行日志”，以跟踪观测任务运行细节。直至任务状态变成“运行完成”。

步骤三：保存模型

从训练完成的任务中，将模型保存到模型仓库。点击对应版本训练任务的“保存模型”。勾选“model-out”合并保存模型层和Lora训练层（推荐），也可根据实际需要仅保存Lora训练层（进阶需求，不推荐）

选择归属模型后，将为对应模型生成一个新的版本。也可以点击“新建模型”创建一个全新的模

型。

步骤四：评测模型

本步骤主要目的事评估模型的表现是否符合预期，如果不符合预期，需要重复步骤二，优化模型表现。

1.创建评测数据集 进入“知识数据中心-数据集”，点击“创建数据集”。数据类别选择“评测”，数据新增、导入的主要步骤跟“步骤一”一致，最终发布后生效

2.创建评测任务

进入“模型评测中心-模型评测”，点击“创建评测任务”。配置参评对象及评测数据

1）评测对象

基础模型：模型仓库中的模型，含我的模型、平台预置模型、部门申请模型

模型服务：已在“在线服务”部署完成的推理服务（待上线）

RAG应用：在“应用管理”中构建的智能体应用（待上线）

2）自定义推理参数（可选），调整评测对象的推理参数。

3.评测打分方式

人工评测：需要人工参与，逐条为每个评测问题的模型回答进行打分，分数范围1-5分。

裁判模型：裁判模型自动打分，根据实际评测场景选择模型配置参数，场景包括“回答确定性问题”、“回答开放性问题”、“角色扮演”、“代码生成修改分析”等12类，分数范围1-5分。

4.资源规格，根据需要选择运行评测任务所需的资源。

点击确认后，评测任务即开始运行。可通过“状态”观测任务运行状态，通过“运行日志”追踪更明细的运行信息。

运行完成后，“人工评测”类型的任务，可进入“标注”环节。“裁判模型”类型的任务，会直接生成评测报告。

7.对模型回答问题进行逐个评价，包括综合得分评价和答案问题的标签。

8.全部完成提交后，即可生成评测报告。后续可根据报告综合得分对比不同版本模型的整体

效果。也可根据问题标签对模型表现进行针对性优化。

后续操作

1.模型部署：对符合预期的模型，可进入“在线服务”部署，部署完成后即可提供推理服务