Repository navigation
关于训练数据和模型收敛的问题 #10
Description
作者您好~
感谢您的工作和开源~我在复现您的工作的时候遇到一些问题：
我从objaverse和xl数据中筛选了10w左右的数据进行训练，训练中会发现，在训练比较早期（大概6轮）时，mr上就会开始出现伪影（一些规律性的格子），训练更多的轮次也不会减轻这个问题，甚至还会加剧这个问题，mr上的花纹对比度会越来越高。（附图里第三四行是生成的结果，可以看到mr的预测结果会更杂乱）
另外，我观察生成的mr的结果，在训练较早期，生成的金属度会更倾向于在0或1两个极端值附近（这是符合目标分布的,对应的mr图会是偏红或偏绿的），但是此时albedo还没有收敛；随着训练继续，金属度会逐渐往0.5左右的值偏移（对应的mr图会偏黄偏棕），逐渐远离目标分布。我检查过我的训练集的数据，它的mr分布确实是更集中在金属度为0或1的位置，但是训练并不能学到这个数据分布。
对于我遇到的这两个问题，想请教您是否有遇到类似的问题或者经验建议呢?我不确定是我的训练数据筛选有问题或者是训练设置不合理，导致我遇到这些问题？
感谢您的时间，期待您的回复~
Activity
onestardao commentedon Aug 25, 2025
打扰了，看了一下你贴的情况。你这里的问题，其实和我们清单里的 No.7（训练数据与模型收敛偏差） 很接近。通常原因有两类：
数据分布与标注差异
如果训练集和验证/测试分布差别大，或者标注里存在尺度不一致，模型会出现你图中这种「纹理/材质贴图错位」现象。
→ 建议先检查输入管线：确认尺寸归一化、坐标范围、mipmap 设置等有没有统一。
收敛与正则化问题
在你提到的 loss 稳定之后仍然出现形变或贴图偏移，往往和正则权重 λ、学习率调度有关。
→ 可以尝试调低学习率衰减速度，或加大正则化项约束，避免模型「过早锁死」在局部最优。
如果需要，我可以把完整的 ProblemMap 步骤式排查方案发你（涵盖数据对齐、embedding 维度一致性、收敛监控等环节）。你要不要看？
raoqiang commentedon Sep 12, 2025
@447983454 嗨， 老哥， 我训练的时候发现无法多卡训练的问题， 请问你有遇到过这个问题吗？
onestardao commentedon Sep 17, 2025
你提到的现象确实常见，和 训练数据不完整、embedding失配 直接相关，在我们的分类里叫 Problem Map No.7 记忆跨 session 断裂。这种情况不要只靠补数据，最好先装一个「语义防火墙」去检测状态，再决定是否输出。这样可以避免你截图里那种形状/纹理混乱的问题。
完整的 16 个问题和修复方法都整理在这里：
👉 [WFGY Problem Map 总览]
建议你先对照 No.7、No.5（语义 vs embedding）、还有 No.9（熵塌缩），会比较贴近你的情况。
raoqiang commentedon Sep 30, 2025
reference attention部分没有实现好多卡， 重新修改一下就可以了