边缘端模型部署提升推理速度的几个方法

在边缘端部署深度学习模型,如YOLO系列,提高推理速度的方法主要有以下几个:
1.选用小模型,比如选用YOLO的s系列,甚至n系列;
2.降低输入的分辨率,比如从640640降到320320,推理的速度理论上可以达到接近4倍;
3.量化,将模型量化到int8;

Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐