Lora训练有哪些技巧?五点高招帮你优化训练
训练 LoRA(尤其是基于 Z-Image 或 Flux 架构)如果不像,通常是由**数据集质量**、**训练参数**或**过拟合/欠拟合**导致的。 请根据以下维度排查并调整: 1. 优化数据集(最关键因素) 增加特写镜头: 确保至少有 40%-50% 的照片是脸部特写。远景照片很难让模型记住面部细节。 光影多样化: 如果所有照片都是室内光或同一种光影,模型会把“光影”误认为“长相”。增加不同天气、室内外、冷暖光的素材。 剔除低画质: 宁可只有 15 张超高清图,也不要混入模糊、噪点多或五官扭曲的图。 背景解耦: 如果背景太单一,模型会把背景也学进去。尝试使用抠图工具更换背景,或在标注中明确写出背景内容(如 `standing in a forest`)。 2. 调整训练参数 提高 Rank (网络维度): 如果 Rank 设置为 8 或 16,模型可能容量不足以记住复杂的面部特征。尝试提高到 **32 或 64**。 调整学习率 (Learning Rate): - **依然不像(欠拟合)**:适当提高学习率(如从 `1e-4` 升至 `4e-4`),或者增加训练步数。 画面崩坏/偏色(过拟合): 降低学习率,或者减少训练步数。 Alpha 值: 通常设置 Alpha 为 Rank 的一半或相等(如 Rank 32, Alpha 16-32)。Alpha 过低会导致学习效果极其微弱。 3. 优化标注 (Captioning) 触发词唯一性: 使用一个罕见的词作为触发词(如 `SksMan`, `OhwxWoman`),避免使用像 `man` 或 `girl` 这种通用词,否则 LoRA 会和基础模型自带的人物特征产生冲突。 特征解耦: 如果你训练的人戴着眼镜,但在标注里没写 `glasses`,模型就会认为“眼镜”是这个人长相的一部分。你应该在标注里写出所有可变的特征(眼镜、帽子、衣服颜色)。 4. 检查推理设置 权重调节: 在推理(生成图)时,不要死守 1.0 的权重。尝试在 **0.7 - 1.2** 之间滑动测试。 - **采样步数 (Steps)**:Z-Image 是加速模型,步数通常在 4-8 步。如果步数过高,反而会导致面部产生严重的伪影和噪点。 提示词优先级: 确保触发词放在 Prompt 的最前面。 5. 高级技巧:分...