Skip to content

[feature] 原生支持本地/局域网模型与图片、视频生成接口,按实际服务识别能力 #2123

Open

Description

@wuji419-bit

Problem

希望 Windows 客户端能够原生接入用户自托管的模型、图片和视频生成服务,而不是将生成能力绑定到少数固定云厂商。

本地检查环境:Octop 1.0.2b8,octop-harness 1.0.3,源码 f79015b。聊天模型可以使用自定义 OpenAI 兼容服务,但原生媒体生成的服务商枚举、预设、凭证验证和 Harness 注册仍限制了自托管接口接入。模型拉取时也希望保留上游实际声明的上下文、图片输入能力和推理等级,而不是套用不准确的默认值。

已观察到一个自托管兼容网关的模型目录包含图片模型,Images API 路由能够响应,但当前原生生成服务配置无法直接选择这种服务。路由存在或凭证验证通过不等于已经成功生成。视频必须独立判断:如果网关没有可用视频模型,不能因为聊天或生图连通就显示视频可用。

Proposed solution

  1. 增加“本地/局域网/自定义兼容服务”,支持自定义 API 根地址、鉴权和模型名称;聊天、图片、视频可以复用服务,也可以分别配置。原生生成应真正走用户选择的接口,而不是仍在后台请求固定云厂商。
  2. 对管理员明确配置的 localhost 和局域网服务支持 HTTP,公网仍优先 HTTPS,并保留出站请求、重定向和下载安全控制。不能把服务密钥转发给任意产物 CDN。
  3. 支持 OpenAI-compatible Images API;视频按明确协议实现提交、查询、下载及服务实际支持的取消。ComfyUI 等不同协议应使用单独适配器,不应把任意 URL 都当成同一种协议。
  4. 模型发现保留上游真实提供的上下文长度、图片输入能力和可选推理等级,允许人工修正;区分“目录声明”与“真实调用验证”,不要静默截短上下文、丢弃参数或显示服务并不支持的等级。
  5. 明确区分“凭证验证通过”“目录发现模型”“真实生成图片成功”“真实生成视频成功”。不支持的参数应明确提示,不应静默忽略、改模型或回退到其他云服务。
  6. 视频没有可用模型时默认关闭,不填写虚构的默认视频模型。保存后应让已配置的智能体/专家真正加载对应原生生成工具。
  7. 提供稳定的 provider 扩展注册入口和端到端测试,避免每次更新都要修改 portable site-packages。

Alternatives considered

  • 通过自定义 MCP 绕过原生媒体生成,但配置和维护成本更高,且不等于原生界面及工具链已经支持。
  • 直接修改打包依赖可以临时接通,但升级易覆盖,不适合作为长期方案。
  • 只增加 URL 输入框仍不够,还需要配置校验、加密凭证、适配器、模型能力与工具路由一起接通。

Additional context

“本地化”指允许用户自行选择本机或局域网接口,不意味着局域网网关一定是本机 GPU 离线推理,也不应自动安装大模型。

相关但不同范围的需求:#1319、#1983、#1992。本反馈不包含密钥、真实私网地址、私人聊天记录或文件。当前为需求和接入问题反馈,不将模型目录或路由探测当成真实生图/视频生成验收。

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions