多模态工具

– CoDi是一种生成模型，可以从任意输入模态的任意组合中生成任意组合的输出模态。– CoDi可以并行生成多个模态，其输入不仅限于文本或图像等子集模态。– CoDi在输入和输出空间中对齐模态，可以自由地在任意输入组合上进行条件生成，并生成任何组合的模态，即使它们不在训练数据中。– CoDi采用可组合的生成策略，通过在扩散过程中建立…