Meta开源的文本音乐生成模型 MusicGen,随心所欲创造独一无二的音乐

我直接来体验一下:

1,输入你要的音乐类型,用文本描述,支持中文

2,你也可以上传个音频旋律(可以不传,只输入文本内容)

3,点击生成,稍等片刻即可听到根据你文本内容的音乐。

Meta开源的文本音乐生成模型 MusicGen,随心所欲创造独一无二的音乐

我输入的是欢快的儿歌。

谷歌和Meta都推出了文本音乐生成模型,Meta的MusicGen可以免费使用。

音乐生成是一个具有挑战性的任务,需要对长序列进行建模,同时考虑到音乐的复杂结构和不和谐的容错率。

最近的研究提出了将音频信号表示为离散token流的方法,这使得高质量的音频生成和有效的音频建模成为可能。Meta的研究者提出了MUSICGEN,这是一种简单、可控的音乐生成模型,能在给定文本描述的情况下生成高质量的音乐。

MUSICGEN可以通过有效的码本交错策略,用单阶段语言模型生成一致的音乐,并且可以进行文本和旋律条件生成。

MUSICGEN的主观评分为84.8,比最佳基线高,可以生成符合文本描述、并且在旋律上与给定的和声结构对齐的高质量的样本。

论文地址:

https://arxiv.org/pdf/2306.05284.pdf

体验地址:

https://huggingface.co/spaces/facebook/MusicGen

项目介绍:

https://huggingface.co/papers/2306.05284

github:

https://github.com/facebookresearch/audiocraft

Meta开源的文本音乐生成模型 MusicGen,随心所欲创造独一无二的音乐

Meta开源的文本音乐生成模型 MusicGen,随心所欲创造独一无二的音乐

来源:https://mp.weixin.qq.com/s/rYBjGjnXfHGd36MawLPYNg

本文地址:https://www.163264.com/4158

(0)
上一篇 2023年6月12日 下午6:53
下一篇 2023年6月12日 下午6:56