介绍

MindSpore Transformers套件的目标是构建一个大模型训练、微调、评估、推理、部署的全流程开发套件： 提供业内主流的Transformer类预训练模型和SOTA下游任务应用，涵盖丰富的并行特性。期望帮助用户轻松的实现大模型训练和创新研发。

MindSpore Transformers套件基于MindSpore内置的并行技术和组件化设计，具备如下特点：

• 一行代码实现从单卡到大规模集群训练的无缝切换；

• 提供灵活易用的个性化并行配置；

• 能够自动进行拓扑感知，高效地融合数据并行和模型并行策略；

• 一键启动任意任务的单卡/多卡训练、微调、评估、推理流程；

• 支持用户进行组件化配置任意模块，如优化器、学习策略、网络组装等；

• 提供Trainer、pipeline、AutoClass等高阶易用性接口；

• 提供预置SOTA权重自动下载及加载功能；

• 支持人工智能计算中心无缝迁移部署；

如果您对MindSpore Transformers有任何建议，请通过issue与我们联系，我们将及时处理。

• MindFromers教程文档

• 模型README

• 任务README

• MindPet指导教程

• AICC指导教程

目前支持的模型列表如下：

模型	任务（task name）	模型（model name）
BERT	masked_language_modeling text_classification token_classification question_answering	bert_base_uncased txtcls_bert_base_uncased txtcls_bert_base_uncased_mnli tokcls_bert_base_chinese tokcls_bert_base_chinese_cluener qa_bert_base_uncased qa_bert_base_chinese_uncased
T5	translation	t5_small
GPT2	text_generation	gpt2_small gpt2_13b gpt2_52b
PanGuAlpha	text_generation	pangualpha_2_6_b pangualpha_13b
GLM	text_generation	glm_6b glm_6b_lora
GLM2	text_generation	glm2_6b glm2_6b_lora
LLama	text_generation	llama_7b llama_13b llama_65b llama_7b_lora
LLama2	text_generation	llama2_7b llama2_13b
Bloom	text_generation	bloom_560m bloom_7.1b bloom_65b bloom_176b
MAE	masked_image_modeling	mae_vit_base_p16
VIT	image_classification	vit_base_p16
Swin	image_classification	swin_base_p4w7
CLIP	contrastive_language_image_pretrain zero_shot_image_classification	clip_vit_b_32 clip_vit_b_16 clip_vit_l_14 clip_vit_l_14@336
BLIP2	contrastive_language_image_pretrain zero_shot_image_classification	blip2_stage1_vit_g

目前在research中支持的模型列表如下：

模型	任务（task name）	模型（model name）
Baichuan	text_generation	baichuan_7b baichuan_13b
Baichuan2	text_generation	baichuan2_7b baichuan2_13b
Internlm	text_generation	InternLM-7B
ziya	text_generation	ziya-13B