【项目实训】构建向量知识库_知识向量库

作者：一键难忘520 | 2024-08-16 05:57:56

踩

知识向量库

尝试上传作为知识库，发现向量化失败

经过排除，发现可能是因为文件较大，而gpu缓存空间不够

首先尝试将json文件按照其中的字典数量进行拆分，每个子文件存放十条记录

然而发现，由于不同的经验帖子字数不同，会导致拆分后的存储空间非常不均衡

最低6k，最高30k
测试之后发现，一个文档在15k以内可以成功向量化

构建一个计算json数据大小的函数

以15kb为上限，不断累积原json文档的元素，当添加新的元素导致文件大于15KB之后，将原先累积的元素输出成子json文件

最终的文件大小比较均衡和合理

成功构建向量知识库，并对文档进行分割

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/一键难忘520/article/detail/986868