大模型训练与微调

从业多年，我最大的体会是：99% 的业务问题，不需要一个更大的通用模型，而需要一个「更懂上下文」的专属模型。预训练模型解决了「会说话」的问题，微调才解决「说对话」的问题。

在真实业务场景中，客户要的不是能背百科全书的聊天机器人，而是能准确回答退款政策、推荐合适的SKU、用品牌语气写朋友圈文案的智能助手。这些能力的背后，不是 Prompt 技巧，而是一套从语料清洗、指令构造、参数高效微调（LoRA/QLoRA）到评测上线的完整工程链路。

我通常会遵循一个原则：数据质量决定模型上限，训练流程决定能否稳定逼近这个上限。20% 的边界 case、20% 的困难 case、60% 的常规 case 往往是最稳的配比；训练集与验证集必须分层抽样，保证分布一致；评测不能只看 loss 曲线，必须引入人工盲测与业务指标双保险。

另外，微调不是一锤子买卖。线上 badcase 需要快速回流、再标注、再训练，形成「训练—评测—上线—回流」的闭环。只有这样，模型才会越用越聪明，而不是越用越离谱。