MVAI LEARNING CENTER · DEV V1.0.12
视频行为识别与分析
在浏览器直接运行 MoViNet-A0/A1/A2(K600)、Qualcomm VideoMAE(K400)及 Apple MobileCLIP-S0/S2。所有模型先检测和跟踪主要人物,再只裁剪该人物区域进行推理。MoViNet(K600)逐帧流式分类,VideoMAE(K400)按 4 秒片段分类,MobileCLIP 对每段 6 张人物关键帧进行相对匹配。不同模型的分数不能直接比较或作为正确率。
01 · 选择与播放视频
实拍视频样例(A类 · 日常行为)
实拍视频样例(B类 · 共同动作)
正在读取 Hugging Face Dataset 样例目录……
02 · 模型推理
尚未加载LiteRT.js WASM CPU · Kinetics-600 · 15.1 MB · 172×172(首次下载校验 SHA256)
选择视频后点击「开始识别」,模型将自动加载;也可提前手动检查。
03 · 分类结果
参考动作:未选择样例
请选择真人样例并运行识别,结果会显示在这里。
运行前不显示 Top-5 分类结果。
04 · 主要人物连续行为分析(人物框 + 动作标签)
首先用 MediaPipe EfficientDet-Lite0 定位并跟踪主要人物,所有模型的实际输入均来自跟踪人物的裁剪区域。MoViNet 提供连续逐时刻分类;VideoMAE 和 MobileCLIP 提供 4 秒片段级预测。人物丢失时不进行整幅画面替代推理。
人物检测将在推理前执行
流式 Top-1等待播放
动作预测时间轴
0:00
MoViNet 按实际 5 FPS 预测绘制时间轴;VideoMAE / MobileCLIP 按真实 4 秒片段结果绘制。仅用于观察预测变化,不是精确动作边界、身份识别或准确率证明。点击区间可跳转回放。
05 · 推理详情与实验记录
查看数据来源、模型 SHA、实际推理时间与异常。仅保留当前页面本地诊断记录。
06 · 模型结果对比
先在 02 中逐个运行模型,再勾选已完成的结果进行比较。
对比模型(可选 1–3 个)
这里只展示当前视频已在 02 完成的模型结果;勾选不会触发下载或重新推理。MoViNet 为 K600 人物流式分类,VideoMAE 为 K400 连续分段分类,MobileCLIP-S0/S2 为每段人物关键帧语义匹配。不同分数不能直接比较,也不代表正确率。
本视频尚无已完成的模型结果
本视频尚无已完成的模型结果。请先在 02 运行模型。