SALMONN

清华大学电子工程系与字节跳动火山语音团队合作，于上周推出一款认知导向的开源听觉大语言模型SALMONN（Speech Audio Language Music Open Neural Network），该模型不仅能够感知和理解各种类型的音频输入，还涌现出多语言和跨模态推理等高级能力。目前SALMONN能够胜任英语语音识别、英语到中文的语音翻译、情感识别、音频字幕生成、音乐描述等…