RAG 文档分块方法_python rag文档分块

作者：木道寻08 | 2024-07-20 14:03:58

踩

python rag文档分块

RAG第一步需要对文档进行分快，以便更好的进行检索，现有的分块方法基于分隔符、token限制、token重叠数等等，现有突出的文档分块方法有哪些呢？
可以查看：https://www.toutiao.com/article/7320243761475846656/
含有各个分块方法的代码。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/木道寻08/article/detail/857166