项目名称： 智能影记 - Memoria
团队名称： Mnemosyne
时间： 2026.04.13 - 2026.04.19 (实训第五周)

一、 本周工作概述：连接底层与打通管线

在实训的第五周，随着队友们在端侧 MobileCLIP 向量推理和 Isar 本地数据库的顺利会师，底层的数据底座已经非常坚实。作为前端与多媒体链路的负责人，我本周的核心任务主要聚焦在两个维度：

1. UI 侧： 将底层产出的“智能回忆推荐”数据，以高性能的瀑布流形式展现在首页，并解决复杂状态下的组件复用与渲染掉帧问题。
2. 多媒体侧（核心）： 视频生成的灵魂在于“卡点”。为了给下周的 FFmpeg 视频软编码铺路，我本周使用 Python 在本地跑通了基于 librosa 的音频节拍特征提取算法，并为前后端制定了数据交互标准。

二、 UI 架构演进：Flutter 瀑布流状态复用与性能调优

在接入真实数据之前，我们的首页只是简单的 Mock 静态展示。本周，当海量的本地相册数据配合 AI 打标结果（如“那年今日”、“萌宠瞬间”）涌入前台时，UI 线程面临了不小的压力。

1. Sliver 架构的全面重构
为了保证首页滑动时的极致流畅度（目标稳住 55+ FPS），我全面弃用了基础的 ListView 和 GridView，将其重构为 CustomScrollView + SliverGrid 的架构。配合 SliverChildBuilderDelegate，实现了图片缩略图的真实懒加载（Lazy Loading）——只有当图片即将滑入屏幕可视区域时，才触发内存读取与渲染。

2. 状态复用与精确局部刷新
在处理“时间线”和“推荐卡片”的交叉状态时，如果采用粗暴的 setState，会导致整个页面重绘。我利用 Provider/Riverpod 的状态管理机制，通过 select 精确监听特定的数据节点：

// 局部监听示例：只在推荐数据发生变化时，重绘具体的推荐卡片组件
final recommendPhotos = ref.watch(
  photoGalleryProvider.select((state) => state.recommendations)
);

同时，对于已经加载过的图片缩略图，我引入了一套基于 LRU（最近最少使用）算法的内存缓存队列。这样即便是后台在满载进行 AI 打标，前台用户的滑动体验依然丝滑无阻塞。

三、 视听管线前置：Librosa 节拍检测算法的本地预研

“智能影记”的杀手锏之一是动态视听卡点。单纯把图片拼成视频毫无美感，我们必须要让图片的切换与音乐的鼓点精确咬合。由于 Dart/Flutter 生态中缺乏工业级的音频特征分析库，我决定引入 Python 领域的绝对权威 —— Librosa。

1. 算法核心思路与本地跑通
在移交给后端队友部署服务之前，我必须先在本地验证算法的可行性，并确定我们需要提取哪些核心指标。
我编写了一套本地 Python 脚本，核心诉求不仅是找到“节拍”，还要找到“能量”。

• 提取 BPM： 了解整首曲子的基调，决定整体视频的切片节奏。
• 提取节拍时间戳： 转化为精确的毫秒值（ms），这是后续 FFmpeg 执行画面硬切的时间点。
• 计算均方根能量： 这是我在预研中发现的关键点！光知道“这里有一个节拍”是不够的，如果这是一个弱拍，画面应该平滑转场（如缓慢推拉镜头）；如果是强拍（高能量），画面必须执行强烈的闪白或硬切。

2. 核心预研代码与数据结构设计
在本地跑通的测试代码中，我将节拍与能量进行了对齐融合：

# 我的本地 Librosa 预研核心逻辑
import librosa
import numpy as np

# 1. 加载音频并提取节拍
y, sr = librosa.load("test_bgm.mp3", sr=22050)
tempo, beat_frames = librosa.beat.beat_track(y=y, sr=sr)
beat_ms = (librosa.frames_to_time(beat_frames, sr=sr) * 1000).astype(int)

# 2. 提取 RMS 能量（画面特效烈度的判定依据）
rms = librosa.feature.rms(y=y)[0]
rms_frames = librosa.frames_to_time(np.arange(len(rms)), sr=sr)

# 3. 制定前后端数据契约
results = []
for i, ms in enumerate(beat_ms):
    # 寻找与当前节拍时间最接近的能量点
    idx = np.argmin(np.abs(rms_frames - (ms / 1000.0)))
    energy = float(rms[idx])
    results.append({
        "ms": int(ms), 
        "energy": round(energy, 4) # 范围 0.0 - 1.0，用于 Flutter 端判断特效类型
    })

四、 跨端交接与下周规划

在本地通过各种风格的音频（轻音乐、摇滚、Vlog 欢快曲风）验证了上述脚本和 JSON 数据结构的稳定性后，我将这套核心算法正式交接给了队友（宋子文）。由他负责将这套 Python 脚本封装入 FastAPI，并加上 Cognito JWT 鉴权，部署到云端服务器。

与此同时，我也在 Flutter 侧使用 Dio 库编写了对应的数据封装与超时重试机制，实现了“客户端上传音频流 -> 云端 Librosa 分析 -> 客户端接收卡点 JSON”的完整闭环。

下周挑战预告：
数据和弹药都已备齐。下周，我将进行项目中的视频合成环节——引入 ffmpeg_kit_flutter。我将尝试读取本周生成的 [ms, energy] 卡点数组，配合大模型生成的旁白文案，在手机端利用硬件/软编码合成一支真正的专属记忆短片！