深度学习的参数调参是一个复杂但至关重要的过程，以下是一些关键的调参技巧：

• 模型容量与正则化：确保模型有足够的表示能力来拟合训练数据，并通过降低模型容量或加入正则化手段来在过拟合和欠拟合之间寻找最优解。

• 学习率调整：学习率是训练深度学习模型最重要的超参数之一。对于NLP模型，学习率一般选择在1e-5这个数量级附近，并使用学习率warmup和衰减策略；对于计算机视觉模型，学习率一般选择在1e-3这个数量级附近，并使用学习率衰减。具体的学习率需要通过多次实验来确定。

• 批量大小选择：对于表示学习和对比学习，通常选择较大的批量大小会带来更好的效果。但如果GPU显存不足，需要使用梯度累积的技巧。对于其他类型的深度学习模型，批量大小的选择需要根据具体情况而定。

• Dropout比例调整：在现代深度学习任务中，大多采用预训练语言模型作为基础模型，Dropout比例是一个重要的超参数，使用默认值不一定能达到最佳效果，有时需要尝试不同的Dropout比例。

• 权重初始化：对于线性层和卷积层，常用的权重初始化方法是KaimingUniform或KaimingNormal初始化；对于嵌入层，常用的初始化方法是截断归一化初始化。

• 归一化策略：对于序列输入，使用LayerNormalization；对于非序列输入，使用BatchNormalization。

• 优化器选择：在自然语言处理或目标函数比较不平滑的问题中，Adam优化器是首选；而在对精度要求较高时，SGDM（随机梯度下降动量）也是一个不错的选择。

此外，还有一些其他的调参技巧，如层次化neck设计、数据增强策略、固定随机数种子、交叉验证策略、观察模型学习和泛化能力等。调参时，可以每次只调一个参数，方便记录和调整，同时除了loss函数外，还可以设定一些规则来引导调参方向。

总之，深度学习的参数调参是一个需要耐心和经验的过程，通过不断尝试和调整，可以找到最优的模型参数组合。