非线性回声（Non-linear Echo）详细分析

        我们这一章主要描述XVF3800在回声消除（AEC, Acoustic Echo Cancellation）流程中处理非线性回声的部分。

1. 背景：为什么需要非线性回声建模？

        在所有双手免提音频设备（手机、会议终端、智能音箱等）中，远端信号通过扬声器播放后，会被麦克风拾取，形成回声。标准的线性AEC通过自适应滤波器模拟房间的线性脉冲响应（包括尾部回声），可以消除大部分回声。

然而，真实系统中不可避免地存在非线性失真来源：

• 扬声器在高音量时的谐波失真、互调失真
• 功放的非线性
• 外壳振动、结构耦合引起的机械非线性
• 麦克风过载剪切（clipping）
• 其他硬件非线性

        线性AEC处理后，仍会残留一部分残余回声（residual echo），这些残余主要由非线性引起。如果不进一步建模和抑制，会显著降低远端听众的通话体验（听到失真的自身回声）。

        非线性模型的作用：

        学习扬声器输出电平与非线性失真强度的映射关系

        在PP（后处理）阶段，根据当前输出电平预测非线性失真

        对AEC残差进行频率相关的抑制，消除残留的非线性回声

        因此，非线性估计（non-linear estimation）的目标就是：在线性AEC完成后，对剩余的非线性残余回声进行建模和抑制。

2. XVF3800的实现方式

XVF3800采用 自训练非线性模型（self-training non-linear model）：

• 这是一种无需人工标注、完全基于设备自身运行数据的在线/离线训练方式。
• 训练时，设备播放特定测试信号（通常是扫频或多音调信号），同时录制麦克风信号。
• 线性AEC先运行去除线性部分，剩余信号被用来训练非线性模型。
• 训练完成后，模型在正常通话中实时预测并扣除非线性残余回声。

        这种自训练方式的优点是适应具体硬件个体差异（不同设备扬声器、麦克风、外壳耦合略有不同），但对训练环境要求极高。

3. 调校环境的关键要求

文本特别强调训练必须在安静、理想无回声的环境中进行，原因如下：

• 无声环境（silent environment）：任何近端语音、环境噪声都会被误认为是残余回声，导致模型学习错误特征。
• 理想无回声（anechoic）：训练信号应直接耦合（扬声器→空气→麦克风），而不应包含房间反射。反射会引入额外线性成分，干扰非线性特征提取。
• RT60 < 0.3s：RT60（混响时间，声音衰减60dB所需时间）是衡量房间混响程度的指标。
  • 普通办公室RT60 ≈ 0.5–1s，客厅更高。
  • <0.3s 基本要求接近消声室（anechoic chamber）或经过重吸音处理的房间。
  • 如果RT60过高，反射尾巴会被线性AEC处理，但残余反射仍可能污染非线性训练。

环境类型	RT60（秒）	混响特性说明
消声室	＜ 0.1 s	几乎无混响，接近自由声场
录音棚	0.2 – 0.4 s	低混响，适合语音与音乐录制
普通房间	0.4 – 0.8 s	中等混响，常见居家/办公环境
大厅 / 礼堂	＞ 1.0 s	高混响，回声感明显

此外，禁止环境路径变化：

• 训练期间不能有人或物体移动（会改变声学路径）。
• 任何振动、风扇转动等都会引入时变耦合。

4. 内部调试逻辑

control_obj.run_control_command('PP_ECHOONOFF 0')      # 关闭PP阶段回声抑制
control_obj.run_control_command('PP_NLATTENONOFF 0')   # 关闭非线性回声衰减
control_obj.run_control_command('PP_AGCONOFF 0')       # 关闭AGC

参数名	设置值	作用	关闭原因（训练视角）	原理说明
PP_ECHOONOFF	0	关闭 PP 阶段后处理回声抑制	需要观察纯 AEC 残差；PP 会进一步改变残差频谱，干扰非线性失真特性统计	AEC 仅消除线性回声并输出残差；PP 会继续抑制残留回声（含非线性），关闭后才能获得未被二次处理的残差
PP_NLATTENONOFF	0	关闭非线性回声衰减	训练阶段非线性模型尚未建立；开启会使用默认/未训练模型，污染训练数据	非线性衰减依赖已有非线性模型；训练阶段需要的是原始非线性残差而非被抑制后的信号
PP_AGCONOFF	0	关闭自动增益控制（AGC）	AGC 会动态改变信号电平，破坏“电平 → 失真强度”的映射关系	AGC 根据功率自适应增益；训练需要保持测试信号的绝对电平稳定，才能准确学习电平与失真的对应关系

control_obj.run_control_command('PP_NLATTENONOFF 1')  # 启用非线性衰减
control_obj.run_control_command('PP_NLAEC_MODE 0')   # 设置为正常模式（准备训练）

控制命令	设置值	作用	所处阶段	说明与注意事项
PP_NLATTENONOFF	1	启用非线性回声衰减	训练完成后 / 联调 / 运行态	开启后会根据已训练的非线性模型对 AEC 残差进行抑制；训练数据采集阶段必须为 0，否则会污染残差
PP_NLAEC_MODE	0	设置为正常模式	训练准备 / 运行态	正常使用非线性 AEC 模型；与“训练/旁路/冻结”等模式区分，确保系统按标准路径工作

udio_obj.play_audio_file(str(wavs.first), quick_play=quick_test)

播放音频 → 扬声器输出

麦克风采集（包含线性+非线性回声）

AEC消除线性回声

非线性模块分析残差，学习低电平失真模式（对应 nlaec0_16k_stereo.wav 文件）

control_obj.run_control_command('PP_NLAEC_MODE 1')  # 训练第一部分

开始训练非线性模型的第一部分

非线性模型可能分为多个部分训练

模式1可能对应低电平部分或低频部分

此时设备开始累积训练数据

audio_obj.play_audio_file(str(wavs.second), quick_play=quick_test)

音频文件：nlaec12_16k_stereo.wav （nlaec12可能表示12dB电平（中/高电平））

在训练模式1下播放

设备继续学习，更新模型的第一部分

学习中/高电平下的失真模式

control_obj.run_control_command('PP_NLAEC_MODE 2')  # 训练第二部分

切换到训练模式

开始训练非线性模型的第二部分

模式2可能对应高电平部分或高频部分或者对应不同的失真类型

audio_obj.play_audio_file(str(wavs.third), quick_play=quick_test)

音频文件：nlaec12_16k_stereo.wav（与第二个相同）

作用：在训练模式2下，继续学习高电平失真

为什么与第二个相同？

可能需要在不同训练阶段使用相同电平或者用于验证和巩固训练结果

control_obj.run_control_command('PP_NLAEC_MODE 0')  # 重置为正常模式

结束训练模式

固化训练结果

切换到正常使用模式

control_obj.read_nl_model_from_device(output_dir, output_name)

1. 发送命令：xvf_host -gn <output_file>

`-gn`：get non-linear model（获取非线性模型）

2. 设备返回：16×40矩阵的二进制数据

3. 保存文件：nlmodel_buffer_override.bin.r16.c40

        r16.c40：16行（rows）× 40列（columns）

4. 生成可视化图表：绘制非线性模型矩阵的热图

5. 失真随输出电平的变化

        如图展示不同输出电平下的失真谱（distortion spectrum）（线性AEC后的残余功率谱）。

        模型矩阵的含义：

        - **16行**：对应16个输出电平档位（从低到高）

        - **40列**：对应40个频率bin（覆盖整个频带）

        - **矩阵值**：表示该电平下该频率的非线性失真强度

正确现象：

• 失真随输出电平增加而显著上升：这符合非线性失真的物理特性（谐波失真在高电平时更明显）。
• 这表明模型捕捉到了真实的硬件非线性，这里就是上面所说的16*40的矩阵！！。

异常情况及原因：

• 低电平时失真就很高：
  • 房间噪声过大（底噪掩盖了真实非线性）。
  • 麦克风剪切（clipping）→ 需要降低 AUDIO_MGR_MIC_GAIN。
• 不同电平下失真谱形状几乎相同：
  • 表示扬声器和外壳的非线性失真很低。
  • 结论：非线性回声对整体AEC影响很小（好现象，通常是高质量硬件）。

6. 调校流程的最佳实践

• 调校顺序至关重要：非线性调校必须放在所有增益和预处理调整之后。
  • 原因：任何增益、EQ、滤波变化都会改变非线性特征（例如提高增益可能引入更多剪切）。
  • 一旦修改增益结构，必须重新调校非线性模型。
• 多次运行并比较（建议2–3次）：
  • 每次调校生成失真图，多次结果应高度一致。
  • 如果图差异显著，说明系统中存在时变非线性，常见原因：
    1. 扬声器-麦克风耦合随时间变化（设备振动、松动、温度漂移）。
    2. 系统内时变噪声（风扇、电源噪声）。
    3. 外部环境不稳定（仍有微弱噪声或轻微移动）。

        我们这里主机设备也是向 XVF3800 提供音频的设备，XVF3800 INT 设备版本通过 I2S 接口，I2S同时可以播放和录音，XVF3800 的控制通过I2C信号。

python3 xvf_tools.py nl_model_training /home/raspberry/host_xvf_control/build/xvf_host --protocol i2c

报错：提示没有smbus模块

实际是因为我们之前的部署全部在conda中的，conda不支持smbus只支持smbus2

pip install smbus2

cd vocalfusion-rpi-setup/resources/clk_dac_setup/

gedit setup_io_exp_and_dac.py

将 import smbus 替换成如下：

try:
    import smbus
except ImportError:
    import smbus2 as smbus

再conda中重新执行命令：

python3 xvf_tools.py nl_model_training /home/raspberry/host_xvf_control/build/xvf_host --protocol i2c

报错：

sudo apt install libasound2-plugins alsa-utils

cd XVF3800-Software_v3_2_1-3/sources/

conda activate xmos

python3 xvf_tools.py nl_model_training /home/raspberry/host_xvf_control/build/xvf_host --protocol i2c

然后你就能听到声音了，很长的测试，然后你就可以看到你在执行的目录下生成了一个文件夹

src.autogen

可以看到一个训练好的文件和一个图片：nlmodel_buffer_override.bin.r16.c40    nlmodel_buffer_override.bin.r16.c40_plot.png

        我这个就是没有静音环境下测试，完全不符合非线性失真的结果！！！所以这个结果就不能使用！！！

        正常是 失真随输出电平增加而显著上升！！！！！！上图是个一个失败的分析！！！（展示了必须在消声室中进行！！！）

        如果测试结果正常！！则在目录 XVF3800-Software_v3_2_1-3/sources/app_xvf3800/nl_model_gen/nlmodel_bin将生成的nlmodel_buffer_override.bin.r16.c40 复制到此目录下。

CMake自动检测逻辑，CMakeLists.txt会自动

if (PROFILE MATCHES "-genelec")
    set(NL_MODEL_BIN product_a_nlmodel.bin.r16.c40)
endif()

检测 nlmodel_bin/ 目录中的文件：
如果存在 nlmodel_buffer_override.bin.r16.c40，优先使用

if (EXISTS ${NL_MODEL_BIN_DIR}/nlmodel_buffer_override.bin.r16.c40)
    set(NL_MODEL_BIN nlmodel_buffer_override.bin.r16.c40)
else
    # 否则使用默认模型
    set(NL_MODEL_BIN nlmodel_buffer_default.bin.r16.c40)
endif()

下面我们以三个产品配置不同的非线性模型为例子：

sources/app_xvf3800/nl_model_gen/nlmodel_bin/
    ├─ nlmodel_buffer_default.bin.r16.c40      # 默认模型
    ├─ product_a_nlmodel.bin.r16.c40            # 产品A模型
    ├─ product_b_nlmodel.bin.r16.c40            # 产品B模型
    └─ product_c_nlmodel.bin.r16.c40            # 产品C模型

CMakeLists.txt配置：

产品A：使用Genelec 8020扬声器

if (PROFILE MATCHES "-genelec")
    set(NL_MODEL_BIN product_a_nlmodel.bin.r16.c40)
endif()

产品B：使用Logitech Z50扬声器

if (PROFILE MATCHES "-logitech")
    set(NL_MODEL_BIN product_b_nlmodel.bin.r16.c40)
endif()

产品C：使用自定义扬声器

if (PROFILE MATCHES "-custom")
    set(NL_MODEL_BIN product_c_nlmodel.bin.r16.c40)
endif()

默认逻辑（保持不变）

if (NL_MODEL_BIN STREQUAL "")
    if (EXISTS ${NL_MODEL_BIN_DIR}/nlmodel_buffer_override.bin.r16.c40)
        set(NL_MODEL_BIN nlmodel_buffer_override.bin.r16.c40)
    else
        set(NL_MODEL_BIN nlmodel_buffer_default.bin.r16.c40)
    endif()
endif()

# 构建Genelec产品

cmake -DPROFILE=genelec ...
make

# 构建Logitech产品

cmake -DPROFILE=logitech ...
make

# 构建自定义产品

cmake -DPROFILE=custom ...
make

7. 实际工程意义与建议

• 高质量硬件：如果多次调校后失真谱形状一致且幅度很小，说明硬件声学设计优秀，非线性模型贡献有限（AEC主要靠线性部分即可）。
• 低质量/问题硬件：失真随电平显著变化，需要依赖强非线性模型；若调校不稳定，则需从硬件层面解决耦合时变问题（加固结构、隔振等）。
• 生产调校：在工厂端，建议使用专业消声箱，确保RT60远低于0.3s，并自动化多次调校+一致性检查。
• 现场调试困难：普通办公室很难满足<0.3s RT60，因此非线性模型通常在出厂预调，现场仅做线性AEC自适应。

        总结：XVF3800的非线性回声处理依赖严格的训练条件和对失真特征的正确解读。只有在理想环境中完成稳定、一致的调校，才能让非线性模型有效抑制残余回声，从而实现高质量的全双工通话体验。如果调校条件不满足，模型可能学习错误特征，反而引入额外 artifacts（非原本信号存在的额外“痕迹”或异常声学现象）。