问题从哪里开始
面向陪伴对话的小模型，可能编造用户的个人经历。减少编造的同时，还要保留对已提供信息的提取能力。
我做了什么
基于 Qwen3-0.6B 构建小规模训练与保留集，使用 PyTorch、Transformers 和 PEFT 完成 LoRA 训练，保存并重载 Adapter，逐题审阅训练前后的回答。
跑通训练只是开始，保留失败样例才能知道下一步。
三个工程决策
01
保持基座，更新适配器
冻结基座，在注意力投影层注入 LoRA；独立保存适配器，检查重载与基座文件一致性。
02
把未知与已知成对检查
用缺失个人信息的问题测试拒答，再用明确提供信息的问题检查提取，避免只学会一概说不知道。
03
结果不只看 loss
逐题检查回答。对“纸条收件人”一题的错误拒答保留为回归案例，不用训练结束代替产品通过。
走到了哪一步
- 32 条训练示范、8 条保留题，完成 48 步小规模训练。
- 573,440 个适配器参数参与训练；产物保存后在新进程重载验证。
- 部分未知信息题减少编造，但已知信息题出现错误拒答；尚不满足产品使用要求。
验证与边界
训练、保存与重载完成；产品效果尚未验收
接下来
改进训练样本与评测覆盖，持续检查拒答能力和已知信息提取之间的平衡。
项目说明依据已核对的仓库、实验记录与本人确认整理。
内容核对：2026.10.28