小米自研声音理解大模型 MiDashengLM-7B 发布并全量开源，22 个公开评测集刷新最好成绩

　　8 月 4 日消息，小米自研声音理解大模型 MiDashengLM-7B 正式发布，并宣布全量开源，为声音理解领域带来新的技术突破与活力。

　　据小米官方介绍，MiDashengLM-7B 在速度和精度上实现了双突破。其单样本首 Token 延迟仅为同类模型的 1/4.这意味着模型在处理音频输入时，能够以极快的速度给出初始反馈，大幅减少等待时间;在同显存下，并发量超 20 倍，大大提升了数据处理效率，能够同时应对多个音频任务。在性能表现上，该模型在 22 个公开评测集上刷新了多模态大模型的最好成绩(SOTA)，充分展现了其卓越的声音理解能力。

　　MiDashengLM-7B 的技术架构十分独特，它基于 Xiaomi Dasheng 作为音频编码器，结合 Qwen2.5-Omni-7B Thinker 作为自回归解码器，并通过创新的通用音频描述训练策略，成功实现了对语音、环境声音和音乐的统一理解。这种对不同类型声音的融合理解能力，在实际应用中具有极大的价值。

　　回溯到 2024 年，小米发布的 Xiaomi Dasheng 声音基座模型便已在国际上崭露头角，首次突破 AudioSet 50+ mAP，在 HEAR Benchmark 环境声、语音、音乐三大领域建立了领先优势，并且这一优势一直保持至今。在小米的智能家居和汽车座舱等场景中，Xiaomi Dasheng 已有超过 30 项落地应用。比如行业首发的车外唤醒防御功能，能有效避免车辆在不必要的情况下被唤醒;手机音箱全天候监控异常声音，为家庭安全保驾护航;“打个响指” 就能实现环境音关联 IoT 控制，为用户带来便捷的智能生活体验;还有小米 YU7 上搭载的增强哨兵模式划车检测，背后都是 Xiaomi Dasheng 作为核心算法在提供支持。

　　MiDashengLM 的训练数据全部来源于公开数据，这使得模型在开源后，更易于被开发者和研究人员理解与研究。模型以宽松的 Apache License 2.0 发布，无论是学术研究还是商业应用，都能够方便地使用，这对于推动声音理解技术在不同领域的发展具有积极意义。

　　小米强调，与 Qwen2.5-Omni 等未公开训练数据细节的模型不同，MiDashengLM 完整公开了 77 个数据源的详细配比，并且在技术报告中详细介绍了从音频编码器预训练到指令微调的全流程。这种透明化的操作，为行业内的技术交流与合作提供了良好范例，有助于整个声音理解领域技术水平的提升。

　　作为小米 “人车家全生态” 战略的关键技术，MiDashengLM 的跨领域能力优势明显。它不仅能精准听懂用户周围发生的事情，还能深入分析这些事情背后的隐藏含义，极大地提高了用户场景理解的泛化性。基于 MiDashengLM 的模型通过自然语言与用户交互，能够提供更加人性化的沟通和反馈。在用户练习唱歌或练习外语时，它可以提供发音反馈，并制定针对性的提升方案;当用户驾驶车辆时，能实时解答用户关于环境声音的提问。

　　MiDashengLM 以 Xiaomi Dasheng 音频编码器为核心组件，是 Xiaomi Dasheng 系列模型的重要升级。目前，小米已着手对该模型做进一步的计算效率升级，目标是实现终端设备上的离线部署，这将使得模型在一些网络条件不佳或者对隐私性要求较高的场景下，依然能够稳定运行。同时，小米还计划完善基于用户自然语言提示的声音编辑等更全面的功能，不断拓展模型的应用边界，为用户带来更丰富、更智能的声音相关服务。