清华大学电子工程系与字节跳动火山语音团队合作，于上周推出一款认知导向的开源听觉大语言模型SALMONN（Speech Audio Language Music Open Neural Network），该模型不仅能够感知和理解各种类型的音频输入，还涌现出多语言和跨模态推理等高级能力。目前SALMONN能够胜任英语语音识别、英语到中文的语音翻译、情感识别、音频字幕生成、音乐描述等语音和音频任务，同时涌现出多种在模型训练中没有专门学习过的多语言和跨模态能力，涵盖非英语语音识别、英语到（中文以外）其他语言的语音翻译、对语音内容的摘要和关键词提取、基于音频的故事生成、音频问答、语音和音频联合推理等任务。
项目地址：
https://github.com/bytedance/SALMONN/
体验地址：
https://4748bc98735d7765bf.gradio.live/
本文地址：https://www.163264.com/5037