返回列表

iFixAi|AI Agent 行为审计与对齐评估工具

iFixAi 把 AI Agent 放进模拟业务场景中发真实请求,检查它是否越权、被提示注入、泄露他人数据或谎报结果,并给出分项结论与 A 到 F 评级,适合上线前想做行为自查的开发与安全团队。

AI 安全与逆向工程PythonCLIAI AgentAgent 评估AI 安全红队测试对齐提示注入合规治理CI 集成站长实测状态尚未登记

工具介绍

这是什么

iFixAi 是一个用 Python 编写的命令行工具,官方定位为“AI Agent 的独立审计器”:为被审 Agent 构建一个模拟的业务运行环境,向它发送接近真实工作日的请求(其中包含试图让它越出职责范围的请求),再由另一家模型厂商的裁判模型对每条回复打分,最后输出逐项通过/不通过、证据和等级。

项目自称的检查范围横跨 AI 红队测试、治理、保证与“哲学”层面,README 强调审计目标不只是网络安全或合规,而是“Agent 是否在做它该做的事”。

主要功能(据官方 README,未在本站实测)

  • 模拟环境与夹具(fixture):用一份 Agent 画像 JSON 描述其角色、可用工具、治理规则,再由 ifixai author 生成并 ifixai validate 校验夹具。
  • 检查项:默认运行 10 项检查,--full-run 可跑全部 61 项;覆盖工具使用权限(B01)、越权提权(B08)、破坏性操作(P01)这三个“强制最低项”,以及提示注入、策略拦截、跨用户数据泄露、置信度表达、失败上报、任务偏离、格式遵循等。
  • 评分:五个维度(捏造、操纵、欺骗、不可预测、不透明)折算 A–F 等级;三个强制最低项任一失败会把等级上限压到 D。
  • 报告:输出 JSON 与 Markdown,可用 --min-score 在 CI 中做阈值门禁。
  • 接入方式:兼容 OpenAI 接口的 Agent 可直接审计,其他协议需少量 Python 适配;裁判模型支持 OpenAI、Anthropic、Gemini、Azure、Bedrock、OpenRouter 等,工具会尽量选与受审 Agent 不同厂商的模型。
  • 配套形态:提供 Claude Code / Codex 插件和面向 Cursor、VS Code、Windsurf、Zed 等的 skill(GitHub 目录内 plugin/ 与 .claude-plugin/)。这类插件/skill 属于 iFixAi 的接入方式,不是独立工具。
  • 其他命令:ifixai windtunnel(离线向正确实现注入治理缺陷,观察能否被检出)、轨迹审计(docs/trajectory-assurance.md)、Policy Lab(docs/business-policy-lab.md)。

适合谁

  • 准备上线或已上线面向客户的客服、退款、工单类 Agent,希望在上线前做一轮“越权与欺骗”自查的团队。
  • 需要给 Agent 行为留出可复核证据的安全、合规、风控人员。
  • 想把 Agent 行为检查接入 CI 的工程团队。

不适合:只想做普通 prompt 效果对比或数据集跑分的人;以及期望零配置、纯网页操作的用户——它是 CLI + 配置文件型工具。

环境门槛

  • Python 3.10 及以上(README 特别提示 macOS 自带 python3 可能为 3.9,需先 python3 --version 确认)。
  • 建议使用虚拟环境;Windows 下 README 给出 py -m venv .venv 的写法。
  • 真实审计需要一个可访问的 Agent 接口(有聊天端点即可,OpenAI 兼容接口可直接用),以及至少一个裁判模型厂商的 API Key。
  • 未实测:具体安装耗时、依赖冲突、国内网络可达性、各厂商接口的实际兼容程度。

安装与首次体验

以下命令均来自项目 README,本站未实际执行,仅作草稿参考,请以官方文档为准:

python3 -m venv .venv && source .venv/bin/activate
pip install ifixai
ifixai author reference -o reference.yaml
ifixai validate reference.yaml
ifixai run --provider mock --eval-mode self --fixture reference.yaml

按 README 说明,--provider mock 使用内置演示 Agent(预设回复与预设评分),不需要 API Key,用于先看流程;报告落在 ./ifixai-results/。README 还写明演示 Agent 会故意在默认 10 项中失败 4 项(B01、B12、B16、P01),等级为 D,退出码为 2。

审计自己的 Agent 时,README 给的路径是:描述 Agent → 生成并校验夹具 → ifixai setup 向导配置端点与裁判 → 先 --dry-run 看测试数量与预估调用量 → 正式运行。README 同时提醒应使用预发/测试副本,因为探测器会发出真实请求。

费用与授权

  • 软件本身:仓库采用 Apache License 2.0(LICENSE 中版权声明为 “Copyright 2026 The ifixai Authors”),可商用与修改,但需保留许可证与版权声明;Apache 2.0 不等于放弃署名,也不代表本站可代为再分发其文档。
  • 运行成本:审计本身要调用裁判模型(可选还调用你的 Agent),会产生第三方 API 费用。具体单价、免费额度、是否有官方托管付费版:待核查,README 未给出价目。
  • 许可与合规声明:项目 topics 中列出 EU AI Act、ISO 42001、NIST AI RMF、OWASP LLM 等关键词,但“能用于满足某法规要求”属于宣传性表述,是否具备合规效力待核查,不应据本文直接对外声称合规。

国内使用注意

  • 裁判模型主要依赖 OpenAI、Anthropic、Gemini、Azure、Bedrock、OpenRouter 等境外服务,国内网络能否直连、账号与支付是否可用:待核查。
  • 是否有国内可用的裁判模型适配、是否支持本地模型,README 未明确说明,待核查。
  • 若 Agent 与裁判均走境外接口,被测数据(含模拟业务数据)会离开本地,数据合规与脱敏需自行评估。

待核查清单

  • 61 项检查的实际覆盖范围与默认 10 项的判定口径(以 docs/inspections.md 为准)。
  • 评级体系中各维度权重与 A–F 分界的具体实现(见 docs/scoring.md)。
  • 演示数据中“隐瞒欺诈标记、支付被经理拒绝的退款、未授权更改打款账户”等情节为 README 明示的示意场景,不是真实客户案例。
  • 插件/skill 在各编辑器中的安装成功率、uvx 可用性。
  • 项目主页 https://www.ifixai.ai 是否提供托管版与付费方案。

来源与加工说明

来源:https://github.com/ifixai-ai/iFixAi

许可证:Apache-2.0

依据 GitHub 原始资料由 AI 整理的中文待审核草稿,未经本站实测。原始版权与许可归原作者;未声明许可不代表允许转载或再分发。

来源类型:GitHub;授权范围待核验

运行与适配

使用难度
如何理解使用难度?
  • 直接使用:通常打开网页或登录账号即可使用。
  • 简单配置:需要填写密钥、连接服务或导入配置。
  • 需要部署:需要安装依赖、配置运行环境或自行部署。
  • 技术开发:需要编程、接口集成或开发调试。

格数越多,使用门槛越高;具体要求请看下方说明。

国内可用性待核验

访问来源 ↗

国内使用情况与网友核验

网友核验 用户经验分享

与站长实测独立,不代表官方认证或本站已实测。

我要核验
0 位参与者0 份有效分项记录

最近核验:暂无有效核验。参与人数按当前项目有效身份去重;不同核验项分别统计,不合并成用户总结果。仅统计审核通过且未过期的记录。

分项统计、有效期与样本量
核验项目有效人数成功 / 部分 / 失败 / 无法判断成功率最近核验 / 有效期
官方网站访问00 / 0 / 0 / 0样本不足暂无 / 7 天
GitHub 仓库访问00 / 0 / 0 / 0样本不足暂无 / 7 天
安装与运行00 / 0 / 0 / 0样本不足暂无 / 30 天
官方服务国内连接 / MCP 连接00 / 0 / 0 / 0样本不足暂无 / 30 天
国内网络情况00 / 0 / 0 / 0样本不足暂无 / 7 天
国内模型兼容性00 / 0 / 0 / 0样本不足暂无 / 30 天
自定义 API00 / 0 / 0 / 0样本不足暂无 / 30 天
海外服务依赖
00 / 0 / 0 / 0样本不足暂无 / 30 天
海外账号要求
00 / 0 / 0 / 0样本不足暂无 / 30 天
中文界面
00 / 0 / 0 / 0样本不足暂无 / 30 天
客户端兼容性00 / 0 / 0 / 0样本不足暂无 / 30 天
账号及费用信息
00 / 0 / 0 / 0样本不足暂无 / 30 天

成功率 = 成功 ÷(成功 + 部分成功 + 失败);无法判断不计入分母。至少 5 份可判断结果才显示成功率。账号、费用、海外依赖与语言等事实项,成功表示核查结论与资料吻合,具体观察另行统计;不表示免费或没有海外依赖。不同网络、客户端和版本的结果不能直接等同。

最近有效核验

暂无审核通过且未过期的网友核验。欢迎提交真实使用记录。

查看全部有效核验 →

反馈此内容的问题