向量化
-
最近都在讲的个人知识库，其背后的技术原理是什么？
> 个人知识库最近成了热门话题，但你知道这背后有哪些技术在支撑吗？ 1、上传文档，文档的分块技术 怎么分块？ 当你把一份文档（比如一本PDF或Word文件）上传到个人知识库时，第一步就是要把这个“大块头”切成小块，这就是文档分块技术。 常见的几种分块方法包括： 按固定长度分块：比如每500字或1000字切一刀，简单直接，适合内容结构不太复杂的文档。 按段落分块：按照文档的自然段落来切，每个段落通常是一个完整的意思，适合结构清晰的文件。 按语义分块：这是更聪明的方法，用AI判断文本的语义转折点来切块。 …