Repository navigation
音频特征缩放参数 audio_scale #71
Description
代码中直接通过 audio_scale 进行特征融合的缩放，推理的时候缩放越大口型越大，请问训练的时候是怎么做的？论文中有提到训练的时候以一定概率置 0，但是对于缩放的系数可以设置比如4、5、6 这么大的值，还不会明显变差，请问为什么？
https://github.com/Fantasy-AMAP/fantasy-talking/blob/main/model.py#L86
x = x + img_x + audio_x * audio_scale
x = attn.o(x)
return x
Activity