Glot500 Base

🚀 Glot500（基礎尺寸模型）

Glot500模型（Glot500 - m）使用掩碼語言建模（MLM）目標在500多種語言上進行了預訓練。該模型在 這篇論文（ACL 2023）中被提出，並首次在 這個倉庫 中發佈。

🚀 快速開始

Glot500模型可用於處理500多種語言，通過掩碼語言建模目標進行預訓練，為多語言處理任務提供支持。

✨ 主要特性

• 多語言支持：支持500 + 種語言。
• 評估指標豐富：使用準確率、F1值和困惑度等指標進行評估。
• 適用庫：基於transformers庫。
• 任務類型：適用於掩碼填充任務。

💻 使用示例

基礎用法

你可以直接使用此模型進行掩碼語言建模：

>>> from transformers import pipeline
>>> unmasker = pipeline('fill-mask', model='cis-lmu/glot500-base')
>>> unmasker("Hello I'm a <mask> model.")

高級用法

以下是如何在PyTorch中使用此模型獲取給定文本的特徵：

>>> from transformers import AutoTokenizer, AutoModelForMaskedLM

>>> tokenizer = AutoTokenizer.from_pretrained('cis-lmu/glot500-base')
>>> model = AutoModelForMaskedLM.from_pretrained("cis-lmu/glot500-base")

>>> # prepare input
>>> text = "Replace me by any text you'd like."
>>> encoded_input = tokenizer(text, return_tensors='pt')

>>> # forward pass
>>> output = model(**encoded_input)

📄 許可證

本項目採用Apache - 2.0許可證。

BibTeX引用

@article{imanigooghari-etal-2023-glot500,
  title={Glot500: Scaling Multilingual Corpora and Language Models to 500 Languages},
  author={ImaniGooghari, Ayyoob  and Lin, Peiqin  and Kargaran, Amir Hossein  and Severini, Silvia  and Jalili Sabet, Masoud  and Kassner, Nora  and Ma, Chunlan  and Schmid, Helmut  and Martins, Andr{\'e}  and Yvon, Fran{\c{c}}ois  and Sch{\"u}tze, Hinrich},
  journal={arXiv preprint arXiv:2305.12182},
  year={2023}
}