热门标签
热门文章
- 1博科光纤交换机6510电源坏了怎么办
- 2转：kaggle案例：员工离职预测 （附视频）_离职聚类
- 3Gradle 11_the project is using an unsupported version of gra
- 4鸿蒙HarmonyOS-简介【入门篇】_开源鸿蒙简介(1)，flutter开源项目_
harmonyos介绍 - 5单片机读取ID卡（EM4100卡）/ 125KHz RFID 曼彻斯特码 读卡程序_id读卡电路
- 6FPGA SATA高速存储设计
- 7android性能测试 app CPU占有率_hwdub-q
- 81.C++程序是如何运行起来的呢？_如何运行c++项目csdn
- 9MySQL数据库事务处理_用于将事务处理写到数据库的命令是( )
- 10X-Forwarded_x-forwarded-prefix
当前位置: article > 正文
高性能推理框架漫谈
作者：我家小花儿 | 2024-06-24 10:20:07
赞
踩
高性能推理框架漫谈
传统模型分布式推理框架
- Tensorflow serving
- Pytorch Serving
- Triton Server
大语言模型的推理框架
- 其中， VLLM 后端接入了Ray 框架， 作为调度请求的分发处理；
- 除此之外，还包括Nvidia 最新推出的TensorRT-LLM， 增加了对LLM 的支持
目前应用比较多的是VLLM 和DeepSpeed， 关于二者的比较：
Reference
- https://medium.com/@plthiyagu/comparing-llm-serving-frameworks-llmops-f02505864754
- https://blog.vllm.ai/2023/11/14/notes-vllm-vs-deepspeed.html
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/我家小花儿/article/detail/752436
推荐阅读
相关标签
