Nomic Xlm 2048

🚀 nomic-xlm-2048: XLM-Roberta Base with RoPE

nomic-xlm-2048は、学習済みの位置埋め込みをRoPEに置き換えた、微調整されたXLM-Roberta Baseモデルです。このモデルは、CC100上で10,000ステップの訓練を行っています。

nomic-xlm-2048は、GLUEとXTREME-Rにおいて、他の多言語エンコーダと競争力を持っています。

🚀 クイックスタート

このセクションでは、nomic-xlm-2048モデルの基本的な使い方を説明します。

💻 使用例

基本的な使用法

from transformers import AutoModelForMaskedLM, AutoConfig, AutoTokenizer, pipeline

tokenizer = AutoTokenizer.from_pretrained('nomic-ai/nomic-xlm-2048') # `nomic-bert-2048` uses the standard BERT tokenizer

config = AutoConfig.from_pretrained('nomic-ai/nomic-xlm-2048', trust_remote_code=True) # the config needs to be passed in
model = AutoModelForMaskedLM.from_pretrained('nomic-ai/nomic-xlm-2048',config=config, trust_remote_code=True)

# To use this model directly for masked language modeling
classifier = pipeline('fill-mask', model=model, tokenizer=tokenizer,device="cpu")

print(classifier("I [MASK] to the store yesterday."))

高度な使用法

シーケンス分類タスクでモデルを微調整するには、以下のコードを使用できます。

from transformers import AutoConfig, AutoModelForSequenceClassification
model_path = "nomic-ai/nomic-xlm-2048"
config = AutoConfig.from_pretrained(model_path, trust_remote_code=True)
# strict needs to be false here since we're initializing some new params
model = AutoModelForSequenceClassification.from_pretrained(model_path, config=config, trust_remote_code=True, strict=False)

📚 ドキュメント

Nomicコミュニティに参加する

• Nomic: https://nomic.ai
• Discord: https://discord.gg/myY5YDR8z8
• Twitter: https://twitter.com/nomic_ai