AIMET全称: AI Model Efficiency ToolKit

AIMET Github: https://github.com/quic/aimet

AIMET文档：https://quic.github.io/aimet-pages/releases/1.18.0/api_docs/

Model Zoo: https://github.com/quic/aimet-model-zoo

目录

1 简介

2 特点

3 API文档和使用示例

4 AIMET PyTorch APIs

5 AIMET TensorFlow APIs

1 简介

AIMET是一个使用户能够压缩和量化模型的软件工具包。AIMET提供了用于训练模型的优化设计，从而可以对得到的压缩和/或量化模型进行进一步训练（也称为微调），以恢复任何精度损失。

AIMET目前支持TensorFlow和PyTorch模型。 AIMET架构见下图：

使用AIMET时工作流程的高级视图，见下图。

如上图，用户将从TensorFlow或PyTorch的已训练模型开始。这个经过训练的模型被传递给AIMET，使用API进行压缩和量化。AIMET返回模型的压缩/量化版本，用户可以对其进行微调（或少量epochs进行进一步训练），以恢复丢失的精度。然后，用户可以通过ONNX导出一个on-target runtime like Qualcomm® Neural Processing SDK。

2 特点

AIMET支持两种类型的功能：

（1）模型压缩：AIMET支持多种模型压缩技术，允许用户采用经过训练的模型并消除冗余，从而生成一个较小的模型，在目标上运行得更快。

（2）模型量化：AIMET可以模拟给定训练模型的量化HW的行为。这允许用户在这个模拟的量化HW上微调模型。AIMET还提供post-training quantization技术，使模型量化得更好。

请参阅AIMET指南：https://quic.github.io/aimet-pages/releases/1.18.0/user_guide/feature_guidebook.html#ug-guidebook，其中包括关于使用上述功能以及如何组合这些功能的一些实用建议。

3 API文档和使用示例

API文档：https://quic.github.io/aimet-pages/releases/1.18.0/api_docs/index.html

4 AIMET PyTorch APIs

https://quic.github.io/aimet-pages/releases/1.18.0/api_docs/torch.html

5 AIMET TensorFlow APIs

https://quic.github.io/aimet-pages/releases/1.18.0/api_docs/tensorflow.html