工具介绍
这是什么
iFixAi 是一个用 Python 编写的命令行工具,官方定位为“AI Agent 的独立审计器”:为被审 Agent 构建一个模拟的业务运行环境,向它发送接近真实工作日的请求(其中包含试图让它越出职责范围的请求),再由另一家模型厂商的裁判模型对每条回复打分,最后输出逐项通过/不通过、证据和等级。
项目自称的检查范围横跨 AI 红队测试、治理、保证与“哲学”层面,README 强调审计目标不只是网络安全或合规,而是“Agent 是否在做它该做的事”。
主要功能(据官方 README,未在本站实测)
- 模拟环境与夹具(fixture):用一份 Agent 画像 JSON 描述其角色、可用工具、治理规则,再由
ifixai author生成并ifixai validate校验夹具。 - 检查项:默认运行 10 项检查,
--full-run可跑全部 61 项;覆盖工具使用权限(B01)、越权提权(B08)、破坏性操作(P01)这三个“强制最低项”,以及提示注入、策略拦截、跨用户数据泄露、置信度表达、失败上报、任务偏离、格式遵循等。 - 评分:五个维度(捏造、操纵、欺骗、不可预测、不透明)折算 A–F 等级;三个强制最低项任一失败会把等级上限压到 D。
- 报告:输出 JSON 与 Markdown,可用
--min-score在 CI 中做阈值门禁。 - 接入方式:兼容 OpenAI 接口的 Agent 可直接审计,其他协议需少量 Python 适配;裁判模型支持 OpenAI、Anthropic、Gemini、Azure、Bedrock、OpenRouter 等,工具会尽量选与受审 Agent 不同厂商的模型。
- 配套形态:提供 Claude Code / Codex 插件和面向 Cursor、VS Code、Windsurf、Zed 等的 skill(GitHub 目录内
plugin/与.claude-plugin/)。这类插件/skill 属于 iFixAi 的接入方式,不是独立工具。 - 其他命令:
ifixai windtunnel(离线向正确实现注入治理缺陷,观察能否被检出)、轨迹审计(docs/trajectory-assurance.md)、Policy Lab(docs/business-policy-lab.md)。
适合谁
- 准备上线或已上线面向客户的客服、退款、工单类 Agent,希望在上线前做一轮“越权与欺骗”自查的团队。
- 需要给 Agent 行为留出可复核证据的安全、合规、风控人员。
- 想把 Agent 行为检查接入 CI 的工程团队。
不适合:只想做普通 prompt 效果对比或数据集跑分的人;以及期望零配置、纯网页操作的用户——它是 CLI + 配置文件型工具。
环境门槛
- Python 3.10 及以上(README 特别提示 macOS 自带
python3可能为 3.9,需先python3 --version确认)。 - 建议使用虚拟环境;Windows 下 README 给出
py -m venv .venv的写法。 - 真实审计需要一个可访问的 Agent 接口(有聊天端点即可,OpenAI 兼容接口可直接用),以及至少一个裁判模型厂商的 API Key。
- 未实测:具体安装耗时、依赖冲突、国内网络可达性、各厂商接口的实际兼容程度。
安装与首次体验
以下命令均来自项目 README,本站未实际执行,仅作草稿参考,请以官方文档为准:
python3 -m venv .venv && source .venv/bin/activate
pip install ifixai
ifixai author reference -o reference.yaml
ifixai validate reference.yaml
ifixai run --provider mock --eval-mode self --fixture reference.yaml
按 README 说明,--provider mock 使用内置演示 Agent(预设回复与预设评分),不需要 API Key,用于先看流程;报告落在 ./ifixai-results/。README 还写明演示 Agent 会故意在默认 10 项中失败 4 项(B01、B12、B16、P01),等级为 D,退出码为 2。
审计自己的 Agent 时,README 给的路径是:描述 Agent → 生成并校验夹具 → ifixai setup 向导配置端点与裁判 → 先 --dry-run 看测试数量与预估调用量 → 正式运行。README 同时提醒应使用预发/测试副本,因为探测器会发出真实请求。
费用与授权
- 软件本身:仓库采用 Apache License 2.0(
LICENSE中版权声明为 “Copyright 2026 The ifixai Authors”),可商用与修改,但需保留许可证与版权声明;Apache 2.0 不等于放弃署名,也不代表本站可代为再分发其文档。 - 运行成本:审计本身要调用裁判模型(可选还调用你的 Agent),会产生第三方 API 费用。具体单价、免费额度、是否有官方托管付费版:待核查,README 未给出价目。
- 许可与合规声明:项目 topics 中列出 EU AI Act、ISO 42001、NIST AI RMF、OWASP LLM 等关键词,但“能用于满足某法规要求”属于宣传性表述,是否具备合规效力待核查,不应据本文直接对外声称合规。
国内使用注意
- 裁判模型主要依赖 OpenAI、Anthropic、Gemini、Azure、Bedrock、OpenRouter 等境外服务,国内网络能否直连、账号与支付是否可用:待核查。
- 是否有国内可用的裁判模型适配、是否支持本地模型,README 未明确说明,待核查。
- 若 Agent 与裁判均走境外接口,被测数据(含模拟业务数据)会离开本地,数据合规与脱敏需自行评估。
待核查清单
- 61 项检查的实际覆盖范围与默认 10 项的判定口径(以
docs/inspections.md为准)。 - 评级体系中各维度权重与 A–F 分界的具体实现(见
docs/scoring.md)。 - 演示数据中“隐瞒欺诈标记、支付被经理拒绝的退款、未授权更改打款账户”等情节为 README 明示的示意场景,不是真实客户案例。
- 插件/skill 在各编辑器中的安装成功率、
uvx可用性。 - 项目主页
https://www.ifixai.ai是否提供托管版与付费方案。
来源与加工说明
来源:https://github.com/ifixai-ai/iFixAi
许可证:Apache-2.0
依据 GitHub 原始资料由 AI 整理的中文待审核草稿,未经本站实测。原始版权与许可归原作者;未声明许可不代表允许转载或再分发。
来源类型:GitHub;授权范围待核验
运行与适配
如何理解使用难度?
- 直接使用:通常打开网页或登录账号即可使用。
- 简单配置:需要填写密钥、连接服务或导入配置。
- 需要部署:需要安装依赖、配置运行环境或自行部署。
- 技术开发:需要编程、接口集成或开发调试。
格数越多,使用门槛越高;具体要求请看下方说明。
国内可用性待核验
访问来源 ↗国内使用情况与网友核验
网友核验 用户经验分享
与站长实测独立,不代表官方认证或本站已实测。
最近核验:暂无有效核验。参与人数按当前项目有效身份去重;不同核验项分别统计,不合并成用户总结果。仅统计审核通过且未过期的记录。
分项统计、有效期与样本量
| 核验项目 | 有效人数 | 成功 / 部分 / 失败 / 无法判断 | 成功率 | 最近核验 / 有效期 |
|---|---|---|---|---|
| 官方网站访问 | 0 | 0 / 0 / 0 / 0 | 样本不足 | 暂无 / 7 天 |
| GitHub 仓库访问 | 0 | 0 / 0 / 0 / 0 | 样本不足 | 暂无 / 7 天 |
| 安装与运行 | 0 | 0 / 0 / 0 / 0 | 样本不足 | 暂无 / 30 天 |
| 官方服务国内连接 / MCP 连接 | 0 | 0 / 0 / 0 / 0 | 样本不足 | 暂无 / 30 天 |
| 国内网络情况 | 0 | 0 / 0 / 0 / 0 | 样本不足 | 暂无 / 7 天 |
| 国内模型兼容性 | 0 | 0 / 0 / 0 / 0 | 样本不足 | 暂无 / 30 天 |
| 自定义 API | 0 | 0 / 0 / 0 / 0 | 样本不足 | 暂无 / 30 天 |
| 海外服务依赖 | 0 | 0 / 0 / 0 / 0 | 样本不足 | 暂无 / 30 天 |
| 海外账号要求 | 0 | 0 / 0 / 0 / 0 | 样本不足 | 暂无 / 30 天 |
| 中文界面 | 0 | 0 / 0 / 0 / 0 | 样本不足 | 暂无 / 30 天 |
| 客户端兼容性 | 0 | 0 / 0 / 0 / 0 | 样本不足 | 暂无 / 30 天 |
| 账号及费用信息 | 0 | 0 / 0 / 0 / 0 | 样本不足 | 暂无 / 30 天 |
成功率 = 成功 ÷(成功 + 部分成功 + 失败);无法判断不计入分母。至少 5 份可判断结果才显示成功率。账号、费用、海外依赖与语言等事实项,成功表示核查结论与资料吻合,具体观察另行统计;不表示免费或没有海外依赖。不同网络、客户端和版本的结果不能直接等同。
最近有效核验
暂无审核通过且未过期的网友核验。欢迎提交真实使用记录。
查看全部有效核验 →