HuggingFace - Trainer
Trainer是transformers库中提供的训练的函数,内部封装了完整的训练,评估逻辑,并集成了多种的后端,如 DeepSpeed、Pytorch FSDP等,搭配TrainingArguments对训练过程中的各项参数进行配置,可以非常方便快捷地启动模型单机/分布式训练。
需要注意的是
- 使用Trainer进行模型训练对模型的输入输出是有限制的,要求模型返回元组或者ModelOutput的子类
- 如果输入中提供了labels,模型要能返回loss结果,如果是元组,要求loss为元组中第一人值
文档地址:https://huggingface.co/docs/transformers/main_classes/trainer#trainer
