我直接来体验一下:
1,输入你要的音乐类型,用文本描述,支持中文
2,你也可以上传个音频旋律(可以不传,只输入文本内容)
3,点击生成,稍等片刻即可听到根据你文本内容的音乐。
我输入的是欢快的儿歌。
谷歌和Meta都推出了文本音乐生成模型,Meta的MusicGen可以免费使用。
音乐生成是一个具有挑战性的任务,需要对长序列进行建模,同时考虑到音乐的复杂结构和不和谐的容错率。
最近的研究提出了将音频信号表示为离散token流的方法,这使得高质量的音频生成和有效的音频建模成为可能。Meta的研究者提出了MUSICGEN,这是一种简单、可控的音乐生成模型,能在给定文本描述的情况下生成高质量的音乐。
MUSICGEN可以通过有效的码本交错策略,用单阶段语言模型生成一致的音乐,并且可以进行文本和旋律条件生成。
MUSICGEN的主观评分为84.8,比最佳基线高,可以生成符合文本描述、并且在旋律上与给定的和声结构对齐的高质量的样本。
论文地址:
https://arxiv.org/pdf/2306.05284.pdf
体验地址:
https://huggingface.co/spaces/facebook/MusicGen
项目介绍:
https://huggingface.co/papers/2306.05284
github:
https://github.com/facebookresearch/audiocraft
来源:https://mp.weixin.qq.com/s/rYBjGjnXfHGd36MawLPYNg
本文地址:https://www.163264.com/4158