(三)智能编排中心
1.应用管理
平台支持在线场景编排,通过提供场景建设的全链路可视化工具,为用户提供强大的场景编排能力。能够创建聊天机器人、文本生成、Agent、工作流四类的应用,编排模式包含快捷编排、工作流编排两种模式。编排能力能够提供提示词设置、引入知识库、接入插件等能力。
1.进入模块,选择【智能编排中心-应用管理】菜单,进入插件管理界面。
2.查看场景应用(以下简称应用)列表。
进入页面后,可以查看项目下创建的场景应用。列表支持使用应用名称进行知识库检索。用户可以查看到应用名称、应用类型、应用描述等数据。
3.新建场景应用。
能够新建场景类型为聊天机器人、文本生成、Agent、工作流四个类别的场景。
聊天助手:基于LLM构建对话式交互的助手
文本生成:构建面向文本生成类任务的助手,例如撰写故事、文本分类、翻译等
Agent:能够分解任务、推理思考、调用工具的对话式智能助手
工作流:基于流程编排的方式定义更加灵活的LLM工作流
新建场景支持3种方式进行:
·基于场景模板创建
用户可以在新建时选择平台提供的场景模版,模板能够包含名称、类型、描述等信息。
在浏览模板时,可以按场景类型、场景标签对场景模板进行筛选,快速定位到想要的场景模板。
4.快捷编排
快捷编排能够支持提示词设置、变量设置、引用知识库作为上下文、开场白设置、下一步指引、引用展示、内容审查、标准问答库等功能。
5.工作流编排
系统支持通过在线的可视化节点逻辑编排功能来提供应用搭建能力。能够通过工作流节点对业务进行步骤拆解,并通过流程将节点进行连接处理,从而降低系统复杂度,减少提示词和模型推理能力在应用搭建中的依赖成都,提高大模型应用在处理较为复杂的任务处理时的性能,增加大模型应用搭建过程中的可解释性,提升其稳定性。
工作流编排支持开始、结束、回复、大模型、知识库、分类器、条件、代码、转换、变量、请求、迭代、插件等节点。
l开始节点
开始节点是工作流必要的一个节点,在开始节点中,能够可以自定义启动工作流的输入变量。
l结束节点
结束节点是工作流的必要节点,能够通过这个节点定义一个工作流程结束的最终输出内容。工作流在完整执行后都需要至少一个结束节点,用于输出完整执行的最终结果,可通过设置多个结束节点对工作流中不同的条件分支进行闭环设置。
l回复节点
能够在回复节点中自由定义回复格式,可以自定义一段文本回复内容,或者使用前置节点中的输出变量作为回复内容,或者将设置的回复文本与变量组合后回复。
l大模型节点
大模型是工作流编排的核心节点,能够利用大语言模型的对话/生成/分类/处理等能力,根据给定的提示词处理广泛的任务类型,并能够在工作流的不同环节使用。支持意图识别,在客服对话情景中,对用户问题进行意图识别和分类,导向下游不同的流程。支持文本生成,在文章生成情景中,作为内容生成的节点,根据主题、关键词生成符合的文本内容。
支持内容分类,对数据进行类别的识别和归类。
支持文本转换,在文本翻译情景中,将用户提供的文本内容翻译成指定语言。
支持代码生成,在辅助编程情景中,根据用户的要求生成指定的业务代码,编写测试用例。
支持RAG,在知识库问答情景中,将检索到的相关知识和用户问题重新组织回复问题。
支持图片理解,使用vision能力的多模态模型,能对图像内的信息进行理解和问答。能够选择合适的模型,编写提示词,在工作流种组合编排搭建场景解决方案。
l知识库节点
知识库节点能够从知识库中检索与输入内容相关的文本内容,能够作为下游大模型节点的上下文来进行使用。
l意图识别节点
意图识别节点能够通过定义分类描述,并根据用户输入推理与之相匹配的分类并输出
分类结果。
l条件节点
条件节点能够通过条件判断将工作流拆分成多个分支。支持IF、ELSE、ELSEIF等条件判断。
l代码节点
代码节点能够在该节点中通过程序代码对数据进行处理等场景进行应用。支持Python、NodeJS。
l转换节点转换节点支持对数据灵活地进行数据转换、文本处理等场景的应用,能够将多个数据输入进行统一格式化进行输出。
l变量节点
变量节点能够通过变量赋值将工作流内的变量赋值到会话变量中进行临时存储,并可以在后续对话中持续引用。
l请求节点
请求节点能够通过HTTP协议发送服务器请求,可实现获取外部数据、webhook、生成图片、下载文件等场景。
l插件节点
插件节点能够为工作流提供强大的第三方能力支持,分为以下四种类型:
预置插件,可加入平台预置的插件实现插件功能,为工作流和快捷编排带来额外插件功能。
项目插件,可以在编排过程中加入在平台中注册的插件,使用插件带来的额外功能。
已申请插件,可以在编排过程中加入已授权本单位使用的其他单位的共享插件。
工作流,平台能够通过将工作流发布为一个插件,即可在插件节点中选择工作流进行引入,实现更为复杂的业务场景搭建。
6.模型调试
能够对搭建的大模型相关的场景应用进行在线调试,查看和验证运行效果。支持对快捷编排、工作流编排的场景应用开启在线会话进行调试,编排的场景能够包含能够挂载提示词和知识库,支持流式对话、多轮对话。在对快捷编排的场景应用进行调试时,能够验证提示词设置、变量设置、引用知识库,作为上下文、开场白设置、下一步指引、引用展示、内容审查、标准问答库等功能模块的实际效果。并能够在线调整,对调整后的结果进行验证。
l开启会话,对编排场景进行在线验证
l验证提示词设置效果
l验证变量设置效果
l验证引用知识库后的会话效果
l验证开场白设置效果
l验证下一步指引设置效果
l验证引用展示效果
l验证内容审查效果
l验证标准问答库效果
在对工作流编排的场景应用进行调试时,能够通过在线会话的方式,验证开始、结束、回复、大模型、知识库、分类器、条件、代码、转换、变量、请求、迭代、插件等节点的效果。并且能够预览每个节点的运行日志,支持单节点调试,支持查看历史运行记录,以及检测运行所需的checklist。
l验证开始节点效果
l验证结束节点效果
l验证回复节点效果
l验证大模型节点效果
l验证知识库节点效果
l验证意图识别节点效果
l验证条件节点效果
l验证代码节点效果
l验证转换节点效果
l验证变量节点效果
l验证请求节点效果
l验证迭代节点效果
能够查看迭代节点的输入和输出内容,并能够在线查看加入迭代节点之后的运行结果。
l验证插件节点效果
能够查看插件节点的输入和输出内容,并能够在线查看运行插件节点之后的运行结果。
插件节点能够引入工作流作为插件,并且能够在线查看引入工作流节点之后,工作流节点在运行过程中的输入输出,以及整体的运行效果。
l查看运行历史及日志
对搭建的场景应用进行在线运行后,能够展示整体的运行状态、运行时长、总Token数等信息。
同时能够查看每个节点的运行记录,包含每个节点的运行状态、运行时长、Token数、输入输出等信息。
工作流编排的场景应用中,应能够看到具体的流程走向,通过线路颜色进行区分,查看到当次运行经过的流程线路。
并且能够对历史的运行记录进行查看,选择对应的运行记录后,平台能够展示当时运行时整体结果以及对应节点的详细日志信息。
l单节点调试
工作流编排的场景应用,能够支持单个节点的调试功能。输入单节点所需的入参后,可单独运行一个节点,查看该节点的运行状态、执行时长、输入输出、Token数等信息。
l运行checklist
在场景应用运行开始前,系统能够对运行条件进行校验,并且提示出具备运行条件所欠缺的内容,帮助用户进行运行前的正确准备。