首页 / Resources 资源 / resources-rag-eval-security
resources-rag-eval-security
RAG、评测、可观测、安全四类资源：技术实战库、向量库选型、Eval 框架、护栏与攻防练手场。做 RAG 项目或上线前检查时用。
RAG 技术实战库
- RAG Techniques（Nir Diamant） — 30+ 进阶配方 Notebook：分块、混合检索、Rerank、上下文压缩
- RAG From Scratch（LangChain） — 从零实现每一环，配视频，理解原理先过这个
- LlamaIndex 官方文档 — 企业文档解析（PDF/Office/网页）工具箱
向量库选型
- pgvector（建议主修） — Postgres 插件形态，客户环境"已有 PG 就能上"，权限直接复用现有体系
- Pinecone / Weaviate / Qdrant（了解即可）— 面试能讲清选型权衡（规模、过滤、成本、私有化）
评测（Evals）
- RAGAS — RAG 专用评测：忠实度、相关性、上下文精度
- OpenAI Evals — 官方评测框架，学大厂怎么做回归
- Hamel Husain《Your AI Product Needs Evals》（hamel.dev）— 错误分析→造数据集→LLM as Judge 完整方法论
可观测
- Langfuse（建议深入） — 开源可私有化，客户现场友好
- Arize Phoenix / Logfire — 各有官方 cookbook
安全与护栏
- NVIDIA NeMo Guardrails — 话题边界、安全回复、防越权
- Guardrails AI — 输出结构校验与修正
- Gandalf（Lakera） — 注入攻防闯关游戏，半小时建立直觉
动手产出（毕业要求）
- 用"脏数据"搭真 RAG：扫描 PDF、表格混排、口径不一的报表，写清踩坑记录
- 给项目补 Eval + 监控：RAGAS 评测 + Langfuse 追踪，形成部署→评测→迭代闭环