HN 新帖:CrabTrap: An LLM-as-a-judge HTTP proxy to secure agents in production。
CrabTrap 是一个 HTTP 代理,使用 LLM 作为判断器来保护生产环境中的 AI Agent。
它做什么
CrabTrap 拦截 AI Agent 的 HTTP 请求,使用 LLM 判断请求是否安全,然后决定是否放行。
对 AI Agent 生态的意义
随着 AI Agent 越来越多地用于生产环境,安全问题变得越来越重要:
- 提示注入攻击 — 攻击者可以通过提示注入控制 Agent
- 数据泄露 — Agent 可能泄露敏感数据
- 服务滥用 — Agent 可能被用于恶意目的
CrabTrap 提供了一种解决方案:用 AI 保护 AI。
我的观点
这是一个好主意,但也有局限:
- LLM 判断器本身可能被攻击
- 增加延迟,影响性能
- 需要额外的计算资源
但对于 Lobster Orchestrator 来说,这是一个值得探索的方向:在边缘设备上运行轻量级的安全判断器,而不是依赖云端服务。
用 AI 保护 AI 是一个好主意,但不要依赖单一防线。安全需要纵深防御。