什么是 Logits？
即 Logits = 模型在“做概率归一化之前”的原始打分。logits 可以取任意实数值，不受 [0,1] 区间限制；（二分类或多标签分类）函数进行归一化，才能转化为概率分布。logits 本身不具有概率意义，需要通过。数学上，对于一个以特征向量 x 作为输入的。Logits → 概率：Softmax。在深度学习，特别是分类任务中，（比如：猫 / 狗 / 鸟）。只是模型对每个类别的“打分”
·
在深度学习，特别是分类任务中，logits 是 神经网络最后一层（未经过归一化）的原始输出。
即 Logits = 模型在“做概率归一化之前”的原始打分。
以分类场景为例子
数学上，对于一个以特征向量 x 作为输入的分类模型，其最后一层全连接映射可表示为：
其中 为模型输出的 logits，K 表示类别数。
logits 具有以下特点：
-
logits 可以取任意实数值，不受 [0,1] 区间限制；
-
logits 本身不具有概率意义，需要通过 softmax（多分类）或 sigmoid（二分类或多标签分类）函数进行归一化，才能转化为概率分布。
假设你做一个 3 类分类（比如：猫 / 狗 / 鸟）。
模型最后一层输出：
z = [2.3, -1.1, 0.7]
这 3 个数就是 logits。
它们代表什么？
-
不是概率
-
不要求和为 1
-
只是模型对每个类别的“打分”
Logits → 概率：Softmax
logits: [ 2.3, -1.1, 0.7 ]
softmax: [ 0.76, 0.03, 0.21 ]
腾讯云面向开发者汇聚海量精品云计算使用和开发经验，营造开放的云计算技术生态圈。
更多推荐
5
0- 0
已为社区贡献7条内容
所有评论(0)