模型支持列表

NLP

masked_language_modeling

模型 model	数据集 dataset	评估指标 metric	评估得分 score	配置 config
bert_base_uncased	wiki	-	-	run_bert_base_uncased.yaml

text_classification

模型 model	数据集 dataset	评估指标 metric	评估得分 score	配置 config
txtcls_bert_base_uncased txtcls_bert_base_uncased_mnli	Mnli Mnli	Entity F1 Entity F1	- 84.80%	run_txtcls_bert_base_uncased.yaml run_txtcls_bert_base_uncased_mnli.yaml

token_classification

模型 model	数据集 dataset	评估指标 metric	评估得分 score	配置 config
tokcls_bert_base_chinese tokcls_bert_base_chinese_cluener	CLUENER CLUENER	Entity F1 Entity F1	- 0.7905	run_tokcls_bert_base_chinese.yaml run_tokcls_bert_base_chinese_cluener.yaml

question_answering

模型 model	数据集 dataset	评估指标 metric	评估得分 score	配置 config
qa_bert_base_uncased qa_bert_base_chinese_uncased	SQuAD v1.1 SQuAD v1.1	EM / F1 EM / F1	80.74 / 88.33 -	run_qa_bert_base_uncased.yaml run_qa_bert_base_chinese_uncased.yaml

translation

模型 model	数据集 dataset	评估指标 metric	评估得分 score	配置 config
t5_small	WMT16	-	-	run_t5_small_on_wmt16.yaml

text_generation

模型 model	数据集 dataset	评估指标 metric	评估得分 score	配置 config
bloom_560m bloom_7.1b bloom_65b bloom_176b	alpaca alpaca alpaca alpaca	- - - -	- - - -	run_bloom_560m.yaml run_bloom_7.1b.yaml run_bloom_65b.yaml run_bloom_176b.yaml
glm_6b glm_6b_lora	ADGEN ADGEN	BLEU-4 / Rouge-1 / Rouge-2 / Rouge-l -	8.42 / 31.75 / 7.98 / 25.28 -	run_glm_6b_finetune.yaml run_glm_6b_lora.yaml
glm2_6b glm2_6b_lora	ADGEN ADGEN	BLEU-4 / Rouge-1 / Rouge-2 / Rouge-l -	7.47 / 30.78 / 7.07 / 24.77 7.23 / 31.06 / 7.18 / 24.23	run_glm2_6b.yaml run_glm2_6b_lora.yaml
gpt2_small gpt2_13b gpt2_52b	wikitext-2 wikitext-2 wikitext-2	- - -	- - -	run_gpt2.yaml run_gpt2_13b.yaml run_gpt2_52b.yaml
llama_7b llama_13b llama_65b llama_7b_lora	alpaca alpaca alpaca -	- - - -	- - - -	run_llama_7b.yaml run_llama_13b.yaml run_llama_65b.yaml run_llama_7b_lora.yaml
llama_7b llama_13b llama_65b llama_7b_lora	alpaca alpaca alpaca -	- - - -	- - - -	run_llama_7b.yaml run_llama_13b.yaml run_llama_65b.yaml run_llama_7b_lora.yaml
pangualpha_2_6_b pangualpha_13b	悟道数据集 悟道数据集	- -	- -	run_pangualpha_2_6b.yaml run_pangualpha_13b.yaml
baichuan_7b baichuan_13b	- -	- -	- -	run_baichuan_7b.yaml run_baichuan_13b.yaml
baichuan2_7b baichuan2_13b	- -	- -	- -	run_baichuan2_7b.yaml run_baichuan2_13b.yaml
internlm_7b internlm_7b_lora	wikitext-2 alpaca	- -	- -	run_internlm_7b.yaml run_internlm_7b_lora.yaml
ziya_13b	- -	- -	- -	run_ziya_13b.yaml

CV

masked_image_modeling

模型 model	数据集 dataset	评估指标 metric	评估得分 score	配置 config
mae_vit_base_p16	ImageNet-1k	-	-	run_mae_vit_base_p16_224_800ep.yaml

image_classification

模型 model	数据集 dataset	评估指标 metric	评估得分 score	配置 config
vit_base_p16	ImageNet-1k	Accuracy	83.71%	run_vit_base_p16_224_100ep.yaml
swin_base_p4w7	ImageNet-1k	Accuracy	83.44%	run_swin_base_p4w7_224_100ep.yaml

Multi-Modal

zero_shot_image_classification (by contrastive_language_image_pretrain)

模型 model	数据集 dataset	评估指标 metric	评估得分 score	配置 config
clip_vit_b_32 clip_vit_b_16 clip_vit_l_14 clip_vit_l_14@336	Cifar100 Cifar100 Cifar100 Cifar100	Accuracy Accuracy Accuracy Accuracy	57.24% 61.41% 69.67% 68.19%	run_clip_vit_b_32_pretrain_flickr8k.yaml run_clip_vit_b_16_pretrain_flickr8k.yaml run_clip_vit_l_14_pretrain_flickr8k.yaml run_clip_vit_l_14@336_pretrain_flickr8k.yaml
blip2_vit_g	- flickr30k -	- ITM -	- - -	run_blip2_vit_g_qformer_pretrain.yaml run_blip2_vit_g_retrieval_flickr30k.yaml run_blip2_vit_g_zero_shot_image_classification_cifar100.yaml

模型能力支持度

核心关键模型能力一览表

关键模型	并行模式	数据并行	优化器并行	模型并行	流水并行	多副本并行	预训练	微调	评估	推理
Bloom	data_parallel\semi_auto_parallel	是	是	是	是	是	是	全参微调	不支持	推理
GLM	data_parallel\semi_auto_parallel	是	是	是	是	是	是	全参微调，Lora微调	Blue/Rouge评估	推理
GLM2	data_parallel\semi_auto_parallel	是	是	是	是	是	是	全参微调，Lora微调	Blue/Rouge评估	推理
GPT	data_parallel\semi_auto_parallel	是	是	是	是	是	是	全参微调	PPL评估	推理
LLaMa	data_parallel\semi_auto_parallel	是	是	是	是	是	是	全参微调，Lora微调	PPL评估	推理
LLaMa2	data_parallel\semi_auto_parallel	是	是	是	是	是	是	全参微调	PPL评估	推理
PanGu	data_parallel\semi_auto_parallel	是	是	是	是	是	是	全参微调	PPL评估	推理

Research模型支持情况一览表

模型	任务（task name）	模型（model name）
Baichuan	text_generation	baichuan_7b baichuan_13b
Baichuan2	text_generation	baichuan2_7b baichuan2_13b
Internlm	text_generation	InternLM-7B
ziya	text_generation	ziya-13B

Text Generator支持度表

model	模型文档链接	增量推理	流式推理
bloom	link	√	√
GLM	link	√	√
GLM2	link	√	√
GPT	link	√	√
llama	link	√	√
llama2	link	√	√
pangu-alpha	link	√	√
T5	link	×	√
research	research	research	research
baichuan	link	√	√
baichuan2	link	√	√
internlm	link	√	√
ziya	link	√	√

边训练边评估支持度表

模型	评估指标	可用Model.eval完成评估	是否支持	数据并行模式	半自动并行模式
bert	-	-	-	-	-
blip2	-	-	-	-	-
bloom	-	-	-	-	-
clip	-	-	-	-	-
filip	-	-	-	-	-
glm	Rouge，Bleu	否	否	×	×
gpt2	PPL	是	是	√	√
llama	PPL	是	是	√	√（7b 至少8卡）
llama2	PPL	是	是	√	√（7b 至少8卡）
MAE	暂缺	-	-	-	-
pangu alpha	PPL	是	是	√	√
qa-bert	f1, precision, recall	是	是	√	×
swin	Accuracy	是	是	√	×
t5	暂缺	-	-	-	-
tokcls-bert	f1, precision, recall	是	是	√	×
txtcls-bert	Accuracy	是	是	√	×
vit	Accuracy	是	是	√	×
research	research	research	research	research	research
baichuan	PPL	是	是	√	√（7b 至少8卡）
baichuan2	PPL	是	是	√	√（7b 至少8卡）
internlm	PPL	是	是	√	√（7b 至少8卡）
ziya	PPL	是	是	√	√（13b 至少16卡）

微调支持列表

模型	微调算法	运行模式
GPT2	Lora	finetune、eval、predict
LLama	Lora	finetune、eval、predict
GLM	Lora	finetune、eval、predict
GLM2	Lora	finetune、eval、predict

Chat Web支持列表

模型	规格	分词器	增量推理
GLM	glm_6b	glm_6b	支持
GLM2	glm2_6b	glm2_6b	支持
BLOOM	bloom_7.1b	bloom_7.1b	支持
LLAMA	llama_7b_lora	llama_7b_lora	支持

其余库上模型分布式支持情况一览表

模型	并行模式	数据并行	优化器并行	模型并行	流水并行	多副本并行
Bert	data_parallel	是	是	否	否	否
BLIP2	data_parallel	是	是	否	否	否
CLIP	data_parallel	是	是	否	否	否
MAE	data_parallel	是	是	否	否	否
Swin	data_parallel	是	是	否	否	否
T5	data_parallel	是	是	否	否	否
VIT	data_parallel	是	是	否	否	否