2.插件管理
插件管理提供用户将开发完成,并且已经部署为http服务的插件进行在线注册,注册后能够在智能体应用中使用的能力。插件管理包函插件注册、插件编辑、插件删除查看插件详情和插件广场等模块。
智能体应用在搭建时能够使用在线注册的项目插件、单位已申请的插件、工作流类型插件等类型的插件。
1.进入模块。
在左侧导航栏中,选择【智能编排中心插件管理】菜单,进入插件管理界面。
1.插件包、插件概念介绍。
开发者在完成一个接口开发后,进行部署对外提供服务,将该服务注册到平台后,即为一个插件包,该插件包包函一个插件服务。用户能够将多个业务相关性较强,或者处理相同业务的增删改查等多个接口进行归类,注册为一个插件包进行管理。用户在智能体应用中使用时,按插件维度进行使用。在管理项目插件,或者在广场中申请、共享、审批插件申请时,按插件包维度进行管理。
2.管理项目插件。
1)查看项目插件
进入插件管理页面后,即可查看到项目下所有的已注册插件包。用户能够查看插件包的名称、描述、插件数量和插件类型等信息。支持通过插件包名称进行筛选。
点击具体的插件包,可查看该插件包详情。能够在详情页查看插件包的服务地址和具体插件信息。插件信息包函插件名称、插件描述、插件编码、请求路径、请求方式、请求参数等信息。多个插件将在详情中按不同的TAB页进行展示。
管理用户能够在线对插件进行测试操作。点击“测试”按钮后,在弹窗中填写插件所需的具体参数,即可对插件服务进行在线测试。
3.新建项目插件。
在插件列表页点击“创建插件”按钮,在弹窗中填写插件名称、插件类型、重点领域、插件内容、鉴权方法、隐私协议等信息进行插件的创建操作。
1)插件类型。
插件类型属性在插件包中进行维护,指当前插件包中包函的插件类型枚举。可多选,可选“只读插件”、“操作插件”,标记插件类型后可被使用用户,或者共享后在广场中浏览时被其他用户查看。
2)插件内容。
插件内容遵循Swagger格式规范进行维护管理。
3)鉴权方法。
创建插件包时支持设置鉴权方法,可选择无鉴权,或者Basic、Bearer、Custom等鉴权方式。填写对应键值对即可完成设置。
4)隐私协议。
隐私协议为该接口对外的说明,用户可按需填写。
4.编辑项目插件。
在项目插件列表中点击设置图标按钮,再点击“编辑”按钮,或进入插件详情页,点击“编辑”按钮,都能够对插件内容进行编辑。支持编辑插件包名称、插件类型、重点领域、插件内容、鉴权方法、隐私协议等内容。
5.删除项目插件。
在项目插件列表中点击设置图标按钮,再点击“删除”按钮,即可对项目插件进行删
除。
3.模型注册
“模型注册”可以将“在线服务”中的模型推理服务或者中枢平台外的三方模型服务注册,到智能中枢平台,实现模型的统一管理和调度。注册后的模型可以被中枢平台的其他功能模块调用,以支持大模型的使用、运行和生产管理。通过【智能编排中心-模型注册】进入模块。
已注册的模型可直接在主界面查看,模型根据启动框架的不同划分为不同的类别,模型名称左侧绿色标识代表当前模型正常运行中。
平台预制注册公共模型服务,不可删除;用户注册模型可在模型名称后操作管理,通过设置可修改平台上对于模型超参数的限制(该限制不可超过部署模型在线服务所设置的超参数值)。
通过vLLM等支持openAI-API的框架,直接以openAI-API形式注册即可:
通过Xinference部署模型配置信息如下:
当前平台支持其他注册方式如下所示:
完成注册后的模型,即可在模型推理与应用-应用管理功能模块中创建的应用使用,提供推理能力。
点击需要使用的应用,单击右上角模型一栏选择已注册的模型。
模型的超参数信息可以在平台限制下调整。