当前原始bert模型的推理时间是100ms左右，缩短推理时间的方法有3种：
1、模型蒸馏
2、onnxruntime推理加速
3、查看系统的使用情况，CPU及内存是否全都用上，如果没有使用全部，可以指定部分数据或者模型使用指定的CPU来运行，达到多线程、分布式运行程序。
- 周四. 3月 30th, 2023
当前原始bert模型的推理时间是100ms左右，缩短推理时间的方法有3种：
1、模型蒸馏
2、onnxruntime推理加速
3、查看系统的使用情况，CPU及内存是否全都用上，如果没有使用全部，可以指定部分数据或者模型使用指定的CPU来运行，达到多线程、分布式运行程序。