Xglm 564M

🚀 XGLM-564M

XGLM-564M 是一個多語言自迴歸語言模型（擁有 5.64 億個參數），它在一個由 30 種不同語言組成的平衡語料庫上進行訓練，語料庫總共包含 5000 億個子詞單元。該模型在論文 Few-shot Learning with Multilingual Language Models 中被提出，論文作者包括 Xi Victoria Lin*、Todor Mihaylov、Mikel Artetxe、Tianlu Wang、Shuohui Chen、Daniel Simig、Myle Ott、Naman Goyal、Shruti Bhosale、Jingfei Du、Ramakanth Pasunuru、Sam Shleifer、Punit Singh Koura、Vishrav Chaudhary、Brian O'Horo、Jeff Wang、Luke Zettlemoyer、Zornitsa Kozareva、Mona Diab、Veselin Stoyanov、Xian Li*（*同等貢獻）。其原始實現發佈在 此倉庫 中。

✨ 主要特性

• 支持多種語言：涵蓋英語、俄語、中文、德語、西班牙語等 30 種語言。
• 基於大規模語料庫訓練：使用包含 5000 億個子詞單元的平衡語料庫進行訓練。

📚 詳細文檔

訓練數據統計

XGLM-564M 的訓練數據統計信息如下表所示：

模型卡片

關於該模型的預期用途，請參考 XGLM-564M 開發團隊發佈的 模型卡片。

💻 使用示例

基礎用法

以下代碼片段展示瞭如何在合理替代選擇（COPA）任務上評估我們的模型（GPT - 3 風格，零樣本），使用英語、中文和印地語的示例。

import torch
import torch.nn.functional as F

from transformers import XGLMTokenizer, XGLMForCausalLM

tokenizer = XGLMTokenizer.from_pretrained("facebook/xglm-564M")
model = XGLMForCausalLM.from_pretrained("facebook/xglm-564M")

data_samples = {
    'en': [
        {
            "premise": "I wanted to conserve energy.",
            "choice1": "I swept the floor in the unoccupied room.",
            "choice2": "I shut off the light in the unoccupied room.",
            "question": "effect",
            "label": "1"
        },
        {
            "premise": "The flame on the candle went out.",
            "choice1": "I blew on the wick.",
            "choice2": "I put a match to the wick.",
            "question": "cause",
            "label": "0"
        }
    ],
    'zh': [
        {
            "premise": "我想節約能源。",
            "choice1": "我在空著的房間裡掃了地板。",
            "choice2": "我把空房間裡的燈關了。",
            "question": "effect",
            "label": "1"
        },
        {
            "premise": "蠟燭上的火焰熄滅了。",
            "choice1": "我吹滅了燈芯。",
            "choice2": "我把一根火柴放在燈芯上。",
            "question": "cause",
            "label": "0"
        }
    ],
    'hi': [
        {
            "premise": "M te vle konsève enèji.",
            "choice1": "Mwen te fin baleye chanm lib la.",
            "choice2": "Mwen te femen limyè nan chanm lib la.",
            "question": "effect",
            "label": "1"
        },
        {
            "premise": "Flam bouji a te etenn.",
            "choice1": "Mwen te soufle bouji a.",
            "choice2": "Mwen te limen mèch bouji a.",
            "question": "cause",
            "label": "0"
        }
    ]
}

def get_logprobs(prompt):
    inputs = tokenizer(prompt, return_tensors="pt")
    input_ids, output_ids = inputs["input_ids"], inputs["input_ids"][:, 1:]
    outputs = model(**inputs, labels=input_ids)
    logits = outputs.logits
    logprobs = torch.gather(F.log_softmax(logits, dim=2), 2, output_ids.unsqueeze(2))
    return logprobs

# Zero-shot evaluation for the Choice of Plausible Alternatives (COPA) task.
# A return value of 0 indicates that the first alternative is more plausible,
# while 1 indicates that the second alternative is more plausible.
def COPA_eval(prompt, alternative1, alternative2):
    lprob1 = get_logprobs(prompt + "\n" + alternative1).sum()
    lprob2 = get_logprobs(prompt + "\n" + alternative2).sum()
    return 0 if lprob1 > lprob2 else 1

for lang in data_samples_long:
    for idx, example in enumerate(data_samples_long[lang]):
        predict = COPA_eval(example["premise"], example["choice1"], example["choice2"])
        print(f'{lang}-{idx}', predict, example['label'])
        
# en-0 1 1
# en-1 0 0
# zh-0 1 1
# zh-1 0 0
# hi-0 1 1
# hi-1 0 0

📄 許可證

本項目採用 MIT 許可證。