Agent Engineering Roadmap

当前起点：公开职业摘要记录了 LLM 评测、Agent 工具、质量评分与企业连接器工作。接下来的目标，是用全新的公开代码和数据把相关经验转化为可复现的系统。以下里程碑是计划；完成状态以公开实现、评测与运行记录为依据。

Scope

明确系统边界、依赖与演进条件，让功能选择服务于产品目标和维护成本。

Quality

将模型与工具输出转为可复现的评测、回归与故障诊断。

Leverage

把共享组件、开发流程与工程知识沉淀成可以重复使用的能力。

Operations

让延迟、成本、权限与恢复方式成为设计的一部分。

90-day delivery sequence

90 天公开证据计划

三个阶段依次形成架构、评测、可观测性、安全与互操作的公开证据。

DAY 01–30

使用全新公开数据和代码，构建工具调用、结构化输出、状态持久化、失败恢复和人工审批；发布架构决策，明确哪些地方使用工作流、哪些地方需要自治。

Architecture decision recordTool contractsHuman-in-the-loopFailure recovery

DAY 31–60

创建至少 100 条代表性评测样本；跟踪任务成功率、工具错误、延迟、token 和成本；把线上失败转为回归用例。

Offline eval setCI quality gateOpenTelemetry tracesCost dashboard

DAY 61–90

实现一个 MCP server/client，执行直接与间接 prompt injection 测试；工具使用最小权限，高风险动作强制审批。最后发布一篇含失败复盘、指标和取舍的系统设计案例。

MCP integrationThreat modelAdversarial testsPublic case study

Research basis

路线图来自官方和一手工程资料，不是凭空生成的技能关键词。