2.插件管理

插件管理提供用户将开发完成,并且已经部署为http服务的插件进行在线注册,注册后能够在智能体应用中使用的能力。插件管理包函插件注册、插件编辑、插件删除查看插件详情和插件广场等模块。

智能体应用在搭建时能够使用在线注册的项目插件、单位已申请的插件、工作流类型插件等类型的插件。

1.进入模块。

在左侧导航栏中,选择【智能编排中心插件管理】菜单,进入插件管理界面。

1.插件包、插件概念介绍。

开发者在完成一个接口开发后,进行部署对外提供服务,将该服务注册到平台后,即为一个插件包,该插件包包函一个插件服务。用户能够将多个业务相关性较强,或者处理相同业务的增删改查等多个接口进行归类,注册为一个插件包进行管理。用户在智能体应用中使用时,按插件维度进行使用。在管理项目插件,或者在广场中申请、共享、审批插件申请时,按插件包维度进行管理。

2.管理项目插件。

1)查看项目插件

进入插件管理页面后,即可查看到项目下所有的已注册插件包。用户能够查看插件包的名称、描述、插件数量和插件类型等信息。支持通过插件包名称进行筛选。

点击具体的插件包,可查看该插件包详情。能够在详情页查看插件包的服务地址和具体插件信息。插件信息包函插件名称、插件描述、插件编码、请求路径、请求方式、请求参数等信息。多个插件将在详情中按不同的TAB页进行展示。

管理用户能够在线对插件进行测试操作。点击“测试”按钮后,在弹窗中填写插件所需的具体参数,即可对插件服务进行在线测试。

3.新建项目插件。

在插件列表页点击“创建插件”按钮,在弹窗中填写插件名称、插件类型、重点领域、插件内容、鉴权方法、隐私协议等信息进行插件的创建操作。

1)插件类型。

插件类型属性在插件包中进行维护,指当前插件包中包函的插件类型枚举。可多选,可选“只读插件”、“操作插件”,标记插件类型后可被使用用户,或者共享后在广场中浏览时被其他用户查看。

2)插件内容。

插件内容遵循Swagger格式规范进行维护管理。

3)鉴权方法。

创建插件包时支持设置鉴权方法,可选择无鉴权,或者Basic、Bearer、Custom等鉴权方式。填写对应键值对即可完成设置。

4)隐私协议。

隐私协议为该接口对外的说明,用户可按需填写。

4.编辑项目插件。

在项目插件列表中点击设置图标按钮,再点击“编辑”按钮,或进入插件详情页,点击“编辑”按钮,都能够对插件内容进行编辑。支持编辑插件包名称、插件类型、重点领域、插件内容、鉴权方法、隐私协议等内容。

5.删除项目插件。

在项目插件列表中点击设置图标按钮,再点击“删除”按钮,即可对项目插件进行删

除。

3.模型注册

“模型注册”可以将“在线服务”中的模型推理服务或者中枢平台外的三方模型服务注册,到智能中枢平台,实现模型的统一管理和调度。注册后的模型可以被中枢平台的其他功能模块调用,以支持大模型的使用、运行和生产管理。通过【智能编排中心-模型注册】进入模块。

已注册的模型可直接在主界面查看,模型根据启动框架的不同划分为不同的类别,模型名称左侧绿色标识代表当前模型正常运行中。

平台预制注册公共模型服务,不可删除;用户注册模型可在模型名称后操作管理,通过设置可修改平台上对于模型超参数的限制(该限制不可超过部署模型在线服务所设置的超参数值)。

通过vLLM等支持openAI-API的框架,直接以openAI-API形式注册即可:

通过Xinference部署模型配置信息如下:

当前平台支持其他注册方式如下所示:

完成注册后的模型,即可在模型推理与应用-应用管理功能模块中创建的应用使用,提供推理能力。

点击需要使用的应用,单击右上角模型一栏选择已注册的模型。

模型的超参数信息可以在平台限制下调整。

results matching ""

    No results matching ""