🚀 nomic-xlm-2048:带有RoPE的XLM-Roberta Base
nomic-xlm-2048
是一个经过微调的XLM-Roberta Base模型,它将学习到的位置嵌入替换为旋转位置编码(RoPE),并在 CC100 数据集上进行了10000步的训练。
nomic-xlm-2048
在GLUE和XTREME - R基准测试中,与其他多语言编码器相比具有竞争力。
🚀 快速开始
模型信息
属性 |
详情 |
库名称 |
transformers |
数据集 |
statmt/cc100 |
基础模型 |
FacebookAI/xlm - roberta - base |
性能对比
GLUE基准测试
模型 |
参数数量 |
位置编码 |
序列长度 |
平均得分 |
CoLA |
SST - 2 |
MRPC |
STS - B |
QQP |
MNLI |
QNLI |
RTE |
XLM - R - Base |
2.79亿 |
绝对位置编码 |
512 |
82.35 |
46.95 |
92.54 |
87.37 |
89.32 |
90.69 |
84.34 |
90.35 |
77.26 |
nomic - xlm - 2048 |
2.78亿 |
RoPE |
2048 |
81.63 |
44.69 |
91.97 |
87.50 |
88.48 |
90.38 |
83.59 |
89.38 |
76.54 |
mGTE - Base |
3.06亿 |
RoPE |
8192 |
80.77 |
27.22 |
91.97 |
89.71 |
89.55 |
91.20 |
85.16 |
90.91 |
80.41 |
XTREME - R基准测试
模型 |
平均得分 |
XNLI |
XCOPA |
UDPOS |
WikiANN |
XQuAD |
MLQA |
TyDiQA - GoldP |
Mewsli - X |
LAReQA |
Tatoeba |
XLM - R - Base |
62.31 |
74.49 |
51.8 |
74.33 |
60.99 |
72.96 |
61.45 |
54.31 |
42.45 |
63.49 |
66.79 |
nomic - xlm - 2048 |
62.70 |
73.57 |
61.71 |
74.92 |
60.96 |
71.13 |
59.61 |
43.46 |
45.27 |
67.49 |
70.82 |
mGTE - Base |
64.63 |
73.58 |
63.62 |
73.52 |
60.72 |
74.71 |
63.88 |
49.68 |
44.58 |
71.90 |
70.07 |
💻 使用示例
基础用法
from transformers import AutoModelForMaskedLM, AutoConfig, AutoTokenizer, pipeline
tokenizer = AutoTokenizer.from_pretrained('nomic-ai/nomic-xlm-2048')
config = AutoConfig.from_pretrained('nomic-ai/nomic-xlm-2048', trust_remote_code=True)
model = AutoModelForMaskedLM.from_pretrained('nomic-ai/nomic-xlm-2048',config=config, trust_remote_code=True)
classifier = pipeline('fill-mask', model=model, tokenizer=tokenizer,device="cpu")
print(classifier("I [MASK] to the store yesterday."))
高级用法
from transformers import AutoConfig, AutoModelForSequenceClassification
model_path = "nomic-ai/nomic-xlm-2048"
config = AutoConfig.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForSequenceClassification.from_pretrained(model_path, config=config, trust_remote_code=True, strict=False)
📚 详细文档
加入Nomic社区