NVIDIA Garak

Garak（又称 NVIDIA Garak）是一款开源的 LLM 安全评估与红队化测试工具，专注于探测大语言模型在实际应用中可能暴露的安全隐患。它能够模拟多种攻击手法，包括提示注入、数据泄露、虚假信息生成、恶意代码输出以及越狱攻击等，以系统化方式揭示模型的脆弱性。相比传统的静态检测工具，Garak 结合了静态、动态与自适应探测方法，让开发团队能够更全面地理解模型在不同环境下的表现。无论是研究人员、企业安全团队还是开发者，都能通过 Garak 快速部署命令行工具，对 Hugging Face、OpenAI、Replicate、Cohere、NIM 等主流模型进行深入扫描，提升 AI 系统的稳健性与可信度。 作为一款完全免费的工具，Garak 不仅提供丰富的插件化扩展，还支持日志追踪与 JSON 报告输出，便于安全分析与合规审查。其社区活跃，已有众多安全研究人员和开发者贡献插件与改进方案，为 LLM 安全生态提供了坚实基础。