文档大纲
一、AI应用架构新范式基础
AI Agent架构与发展趋势
- AI Agent核心架构：包含Prompt Template、LLMs、Agent Planning/Reasoning、Tools/Actions、Memory、Store/Retrieve等组件
- 发展趋势：从单一用途Agent（Siloed, Single-Purpose Agents）向通用Agent（Universal Agents）、多Agent（Multi-Agents）、平台级Agent（Platform-Level Agents）演进，模型通过更多工具完成高价值任务
- 编排AI Agent的两类方式：流程式（基于CloudFlow流程编排）、编码式（基于Spring AI Alibaba/LangChain等框架）
- LLM部署与管理：支持LLMs API（百炼）、开源LLMs（PAI/FC GPU），提供多API Key管理、模型切换、Fallback等能力
模型上下文协议（MCP）
- 定义：开源协议，作为AI应用通用接口，标准化LLM与外部数据源/工具的连接方式（类似“AI领域的USB-C接口”）
- 核心特性：标准化集成、模块化设计、可扩展性、安全性
- 运作机制：通过自然语言描述MCP Server和Tool，由LLM推理选择合适组件完成任务（本质是提示词工程）
- 与Function Calling的区别：MCP是通用协议层标准，不绑定特定模型；Function Calling是厂商专有能力，需为每个外部函数设计JSON Schema
- 挑战：系统提示词管理、MCP Server协同与管理、现存业务转换为MCP Server的成本等
二、云原生API网关的核心角色
网关多功能架构
- 三种核心角色：流量网关（南北向/东西向流量管控）、API网关（API/路由统一管理）、AI网关/MCP网关（LLM服务管理、MCP Server协同）
- 核心能力：统一管控底座、服务注册发现（结合MSE Nacos）、现存业务0改造转换为MCP Server、安全防护（鉴权、限流、WAF）等
细分网关功能
- 流量网关：支持多集群容灾、全链路灰度、服务健康检查与隔离
- API网关：支持API First开发模式、API货币化、多语言扩展与安全防护
- AI网关：集成多LLM（通义千问、OpenAI、DeepSeek等），提供LLM缓存、提示词模板、Token限流、内容安全审核等能力
- MCP网关：实现MCP Server动态发现、协议转换（如HTTP与SSE转换）、身份认证与权限管控，支持现存业务0代码转换为MCP Server
三、核心组件与最佳实践
MSE Nacos作为MCP Server注册中心
- 功能：统一管理普通服务与MCP Server，支持MCP Server注册/发现、健康检查、版本管理
- 价值：实现现存业务（Java微服务、Go等）0代码转换为MCP Server，降低集成成本
Serverless应用引擎（SAE）部署Dify
- 核心价值：全托管Dify，解决自建部署的高可用、稳定性问题，支持一键部署、弹性扩缩容
- 优势：低成本（按需计费）、高安全（数据不出安全域）、易迭代（支持灰度发布与版本兼容）
函数计算（FC）构建MCP Server
- 能力：支持多语言运行环境、丰富触发器与流程编排，提供MCP SDK快速开发封装MCP Server
- 优势：低时延、高弹性，适配流量波动场景，集成可观测体系（链路追踪、日志监控）
AI网关代理LLMs方案
- 解决问题：成本平衡、模型幻觉、多模型切换、安全合规、高可用等
- 核心能力：多API Key管理突破QPS限制、结果缓存提升效率、Fallback保障连续性、联网搜索优化幻觉、Token限流与内容安全审核
四、AI应用可观测与企业级实践
AI应用可观测体系
- 基于ARMS、OpenTelemetry构建，覆盖LLM调用链路追踪、Token消耗统计、首字延时（TTFT）、错误率等指标
- 集成SLS日志服务，支持LLM输入/输出日志采集、缓存命中分析、安全风险统计
企业级应用影响
- 架构革新：全链路Serverless化，支持按需组装业务功能与最小粒度灰度发布
- 开发模式：基于MCP Server的低代码模式，通过“拖拖拽拽”构建业务流程，降低开发门槛
中心思想
文档围绕“阿里云AI应用开发新范式”展开，核心是通过AI Agent架构、模型上下文协议（MCP）、云原生API网关三大支柱，构建一套灵活、高效、安全的AI应用开发与管理体系。该范式以标准化接口（MCP）打破LLM与外部系统的集成壁垒，结合云原生组件（如SAE、FC、MSE Nacos）实现现存业务的无缝接入与AI增强，同时通过可观测体系与安全防护能力，解决企业级AI应用在成本、稳定性、合规性等方面的核心痛点，推动AI应用从单一功能向通用化、平台化演进。
电子书下载地址：
