---
name: resources-rag-eval-security
description: RAG、评测、可观测、安全四类资源：技术实战库、向量库选型、Eval 框架、护栏与攻防练手场。做 RAG 项目或上线前检查时用。
tags: [resources, rag, eval, security]
category: resources
---


# RAG · 评测 · 安全

## RAG 技术实战库

- [RAG Techniques（Nir Diamant）](https://github.com/NirDiamant/RAG_Techniques) — 30+ 进阶配方 Notebook：分块、混合检索、Rerank、上下文压缩
- [RAG From Scratch（LangChain）](https://github.com/langchain-ai/rag-from-scratch) — 从零实现每一环，配视频，理解原理先过这个
- [LlamaIndex 官方文档](https://docs.llamaindex.ai) — 企业文档解析（PDF/Office/网页）工具箱

## 向量库选型

- **pgvector（建议主修）** — Postgres 插件形态，客户环境"已有 PG 就能上"，权限直接复用现有体系
- Pinecone / Weaviate / Qdrant（了解即可）— 面试能讲清选型权衡（规模、过滤、成本、私有化）

## 评测（Evals）

- [RAGAS](https://github.com/explodinggradients/ragas) — RAG 专用评测：忠实度、相关性、上下文精度
- [OpenAI Evals](https://github.com/openai/evals) — 官方评测框架，学大厂怎么做回归
- **Hamel Husain《Your AI Product Needs Evals》**（hamel.dev）— 错误分析→造数据集→LLM as Judge 完整方法论

## 可观测

- **Langfuse（建议深入）** — 开源可私有化，客户现场友好
- Arize Phoenix / Logfire — 各有官方 cookbook

## 安全与护栏

- [NVIDIA NeMo Guardrails](https://github.com/NVIDIA/NeMo-Guardrails) — 话题边界、安全回复、防越权
- [Guardrails AI](https://github.com/guardrails-ai/guardrails) — 输出结构校验与修正
- [Gandalf（Lakera）](https://gandalf.lakera.ai) — 注入攻防闯关游戏，半小时建立直觉

## 动手产出（毕业要求）

- 用"脏数据"搭真 RAG：扫描 PDF、表格混排、口径不一的报表，写清踩坑记录
- 给项目补 Eval + 监控：RAGAS 评测 + Langfuse 追踪，形成部署→评测→迭代闭环