来源：抖音 @飞向蓝天的8鸟
RAG（Retrieval Augmented Generation）是一种结合了检索和生成技术的AI模型，旨在通过检索外部信息来增强生成内容的准确性和相关性。在构建RAG模型的过程中，文件清洗是一个重要且繁琐的环节，尤其在面对扫描版PDF、文档内容过时、表格内含图片等复杂情况时，需要进行一定的取舍。然而，文件去重作为文件清洗的核心步骤之一，其效率和准确性直接影响着RAG模型的最终效果。
文件去重的两个核心维度
文件去重主要分为两个维度：文件级去重和内容级去重。
1. 文件级去重
文件级去重是通过计算文件的哈希值来实现的。哈希值是文件内容的唯一数字指纹，如果两个文件的哈希值完全相同，则可以判定它们是完全相同的文件。常用的哈希算法包括MD5和SHA1。
- MD5 (Message-Digest Algorithm 5)：一种广泛使用的密码散列函数，可以生成一个128位的哈希值。
- SHA1 (Secure Hash Algorithm 1)：另一种密码散列函数，生成一个160位的哈希值。相比MD5，SHA1安全性更高。
操作步骤：
- 对每个文件计算其哈希值（例如MD5或SHA1）。
- 将所有文件的哈希值存储起来。
- 比较哈希值，如果发现相同的哈希值，则表示存在重复文件。
- 在实际应用中，通常会保留其中一个文件，删除其余重复文件。
这种方法简单高效，适用于处理完全相同的文件副本。
2. 内容级去重
内容级去重更侧重于识别和删除内容相似但不完全相同的文档，特别是在文本内容上存在重复或高度相似的情况。这种方法比文件级去重更为复杂，因为它需要理解文档的语义内容。
操作步骤：
- 文本提取： 从文档中提取纯文本内容，去除格式、图片、表格等非文本元素。
- 文本向量化： 将提取的文本转换成机器可读的向量表示。这通常通过词嵌入（Word Embeddings）或更先进的句子/段落嵌入技术实现，如BERT、GloVe或Word2Vec。
- 相似度计算： 使用余弦相似度（Cosine Similarity）、欧几里得距离等方法，计算不同文本向量之间的相似度。
- 设定阈值： 设定一个相似度阈值，如果两个文档的文本相似度超过这个阈值，则认为它们是重复内容。
- 去重策略： 对于被判定为重复的文档，需要根据一定规则进行取舍。例如：
- 时间靠前的文档优先： 保留最早发布的文档，因为它们可能是原始内容。
- 文字数量更多者优先： 保留包含更多信息的文档，因为它可能更完整。
- 包含重要标记的文档优先： 根据业务需求，保留包含特定关键词、标签或重要元数据的文档。
RAG文件清洗的挑战与展望
RAG文件清洗是一个持续优化的过程，要达到100%的完美去重和清洗几乎是不可能的。即使能达到80%的去重效果，也已经是一个相当不错的成就。
未来的文件清洗工作，特别是对于RAG模型，需要考虑更多复杂因素，例如：
- 多模态内容处理： 如何对包含文本、图像、视频等多种模态信息的文档进行有效去重？
- 时效性管理： 对于信息更新频繁的领域，如何有效管理文档的时效性，去除过时信息？
- 知识图谱集成： 结合知识图谱，更好地理解文档间的关联，进行更智能的去重。
文件清洗是RAG模型成功运行的基础，通过持续优化去重策略，我们可以显著提升RAG模型的性能和用户体验。欢迎大家对这些方法进行评估和讨论，共同探索更高效的RAG文件处理方案。