领域适配继续预训练:用垂直数据增强模型领域知识
FreeGuideOnline
最新
2026-06-23
bash
llamafactory-cli train
--stage pt
--model_name_or_path Qwen/Qwen2-7B
--do_train
--dataset your_domain_data,your_replay_data
--finetuning_type full
--output_dir output/domain-pt
--overwrite_cache
--per_device_train_batch_size 2
--gradient_accumulation_steps 8
--lr_scheduler_type cosine
--logging_steps 10
--save_steps 500
--learning_rate 2e-5
--num_train_epochs 2.0
--packing
--plot_loss
--fp16