生产型企业无 API 老系统怎么让 Agent 接管：Computer Use 四层架构与可运行代码-环曜Agent

生产型企业的核心业务，往往跑在十年前的老 ERP、老 MES 上——它们没有开放 API，也不给数据库直连，改造排期常以月计。2026 年随 VLM（视觉语言模型）成熟，Browser-Use 等项目 GitHub Star 破 10 万，Computer Use（界面接管）让 Agent 像人一样"看"屏幕、"动"键鼠，不需要接口就能接管任何有界面的软件。但屏幕里是生产配方、客户订单等敏感数据，不能导出到公网大模型。《数据安全法》要求重要数据分类分级与境内存储，《网络安全法》第 21 条把防范网络侵入列为安全保护义务——这类场景必须把推理与执行收口在私有环境。企业级环曜 Agent 本地化部署正是把 VLM 推理和 Agent 执行都留在内网、按角色分级授权、动作可审计的落地底座，环曜 在制造企业落地时反复验证：老系统"不能动也不敢动"，但 Agent 可以"会看屏幕、会动手"。

一、生产型企业的老系统为什么"不能动也不敢动"

很多工厂的核心排产、配方、工单仍躺在十年前的老 ERP、老 MES 里，政务大厅还有绿屏字符终端，律所也常见老旧案件系统。它们没有开放 API，也不给数据库直连，承载的是生产配方与客户案件这类敏感资产。

一旦改造，排期常以月计，业务等不起；不改造，又卡在"重复点击、人工搬数据"的低效里。传统 RPA（机器人流程自动化）靠"写死选择器 / 坐标脚本"去点界面，界面一升级、分辨率一变、弹个窗，脚本就全线崩溃，维护成本有时比人工还高。环曜 在 180 家制造企业复盘里看到，IT 反复头疼的不是"能不能点"，而是"点了之后怎么确认没跑偏"。这也是环曜 一直强调的——老系统问题不在工具，在治理。

二、Computer Use 是什么：让 Agent 像人一样接管界面

Computer Use（计算机使用 / 界面接管）让大模型直接"看"屏幕像素、"操作"鼠标键盘，走和人类一样的输入通道，从而接管任何有界面的软件——不管它有没有 API。这一能力在 2026 年随 VLM 成熟而爆发，开源社区 Browser-Use 项目 GitHub Star 已破 10 万、Cua 紧随其后，UI-TARS、OmniParser 等项目快速普及，生态增长是实打实的。

它与 RPA、API 接入不是替代关系，而是三档递进：能 API 的走 MCP/API（快又准），不能 API 的用 Computer Use 兜底，传统 RPA 作为高稳定但脆弱的执行补充。环曜 把这套三档递进做成可验收的选型模板，把这套能力拆开看，就是下面要讲的"四层架构"。

三、为什么必须本地化部署：屏幕截图与数据不出域

Computer Use 的核心输入是"屏幕截图"，而截图里往往躺着生产配方、客户订单等敏感数据，绝不能再上传到公网大模型。因此 VLM 推理服务和 Agent 执行都要跑在客户内网或边缘机器上，数据不出域。

《数据安全法》要求重要数据分类分级与境内存储，《网络安全法》第 21 条要求网络运营者履行安全保护义务、采取防范网络侵入的技术措施；把推理与执行收口在私有环境，正是把合规义务落到实处的做法。企业级环曜 Agent 本地化部署把 VLM 推理、Agent 执行、操作日志全链路留在内网，从源头把数据出域风险压下去。把敏感数据留在企业内网的多层防护，可参考 数据不出域的五层防护，权限治理不能等出事再补，上线前就列清 Agent 能调什么、不能调什么。

四、四层架构落地：感知 / 决策 / 执行 / 闭环

把 Computer Use 拆成可复用的四层，建议收藏：感知层解决"怎么看见屏幕"；决策层解决"看到之后怎么想出下一步"；执行层把决策变成真实键鼠事件；闭环层确认动作生效、没跑偏。环曜 把这套四层做成可验收的模板，企业级环曜 Agent 本地化部署把它落进私有环境，越权即拦、出事可查；Agent 越权操作实时告警的四道关 给出了权限异常与幻觉拦截的落地做法。

感知层：不靠死坐标，用模板匹配锚定语义控件

老系统界面不能靠死坐标，要锚定"提交"按钮上的文字、输入框的相对位置。下面用 OpenCV 模板匹配，在屏幕上找到某个按钮图标的中心坐标（比死坐标稳，图标位置动了也能找到）。

import cv2, numpy as np, pyautogui
def locate(target_img, threshold=0.8):
    screen = cv2.cvtColor(np.array(pyautogui.screenshot()), cv2.COLOR_RGB2BGR)
    tpl = cv2.imread(target_img)
    res = cv2.matchTemplate(screen, tpl, cv2.TM_CCOEFF_NORMED)
    _, mv, _, ml = cv2.minMaxLoc(res)
    if mv < threshold:
        return False, (0, 0)
    h, w = tpl.shape[:2]
    return True, (ml[0] + w // 2, ml[1] + h // 2)

决策层：本地 VLM 规划下一步动作

感知到屏幕后，把截图 + 任务发给本地 VLM，输出结构化动作（点击 / 输入 / 滚动）；关键是多步记忆，别每步都从头想。

import base64, requests, json
def plan_next(img, task):
    b64 = base64.b64encode(open(img, "rb").read()).decode()
    p = '你是桌面助手，只输出 JSON 动作：点击/输入/滚动。任务：' + task
    body = {"model": "qwen2.5-vl-7b", "messages": [{"role": "user", "content": [{"type": "text", "text": p}, {"type": "image_url", "image_url": {"url": "data:image/png;base64," + b64}}]}]}
    r = requests.post("http://localhost:8000/v1/chat/completions", json=body, timeout=30)
    return json.loads(r.json()["choices"][0]["message"]["content"])

执行层：真实键鼠事件穿透老系统

pyautogui 发的是真实鼠标键盘事件，老 ERP 根本分不清是人在点还是 Agent 在点——这正是"穿透"老系统的技术支点。务必开 FAILSAFE，鼠标移到屏幕左上角可紧急中止。

import pyautogui, time
pyautogui.FAILSAFE = True
def act(a):
    if a["act"] == "click":
        pyautogui.click(a["x"], a["y"])
    elif a["act"] == "type":
        if "x" in a: pyautogui.click(a["x"], a["y"])
        pyautogui.write(a["text"], interval=0.05)
    elif a["act"] == "done":
        return
    time.sleep(0.5)

闭环层：每步重截图，没出现预期界面就中止

感知-推理-行动循环必须闭环：每步重截图确认界面变了，否则判定失败、中止，绝不闷头乱点。

import pyautogui, time
from perception import locate
from reasoning import plan_next
from actuation import act
def run_loop(task, max_steps=20):
    for step in range(max_steps):
        pyautogui.screenshot("screen.png")
        a = plan_next("screen.png", task)
        if a.get("act") == "done": return f"完成，共 {step+1} 步"
        act(a); time.sleep(1)
        ok, _ = locate("result_marker.png")
        if not ok: return f"第 {step+1} 步后无预期结果，安全中止"
    return "达到步数上限，中止"

五、三类接管路线对比：API+MCP、RPA 与 Computer Use

选路线时按"有没有接口、界面稳不稳"三档递进判断。环曜 在制造企业落地时反复验证，选错路线比不自动化更费钱——先分清有没有接口、界面稳不稳，再决定走哪档。Agent 接管后的权限边界怎么收口，权限继承与必要权限的四关 讲得更细。

三类路线对照表

一句话选型：新系统优先 API+MCP；没接口但界面稳的，RPA 够用；界面老变、又不想排期改造的，用 Computer Use 兜底。不少企业把"Agent 规划 + RPA 执行"混合，既泛化又稳。

六、生产环境落地四步验收清单

把老系统接管落地的四步验收清单：① VLM 推理与 Agent 执行全部跑在内网，数据不出域；② 所有写操作（删除、提交、导出）走人在环确认；③ 每步动作后闭环校验，未出现预期界面即安全中止；④ 操作日志全留痕，可溯源、可回放。中小团队没大模型运维能力，也能先在测试环境把这套四步收口在自有机房。

接管日志与界面语义模板，可沉淀进企业级环曜RAG知识库本地化部署，按字段级权限做知识检索复用——同一类老系统的操作经验不再每次重来。环曜 建议先在"人在环"模式下跑，关键动作前弹确认，等准确率验证够了再逐步放开；涉及生产配方、政务档案的更要谨慎。制造企业让 Agent 防幻觉、防误操作的落地做法，这篇制造企业 Agent 防幻觉的实操 可以对照着看。

把 Agent 的权限、网关、审计一次性收口在私有环境，比凭印象签 SLA 更稳。需要按你的老 ERP/MES 场景出一份 Computer Use 接管与权限审计的本地化部署落地清单，可联系 环曜Agent 团队做本地化部署落地。

⚠️ 生产环境务必开人在环确认 + 闭环校验 + 紧急中止；屏幕含敏感数据时，VLM 必须本地化部署，严禁上公网。

常见问题 FAQ