Xlm Clm Ende 1024

🚀 xlm-clm-ende-1024

xlm-clm-ende-1024是一個基於Transformer架構的預訓練語言模型，使用因果語言建模（CLM）目標（下一個詞預測）針對英語 - 德語進行訓練。該模型可用於因果語言建模任務。

🚀 快速開始

使用以下代碼開始使用該模型：

import torch
from transformers import XLMTokenizer, XLMWithLMHeadModel

tokenizer = XLMTokenizer.from_pretrained("xlm-clm-ende-1024")
model = XLMWithLMHeadModel.from_pretrained("xlm-clm-ende-1024")

input_ids = torch.tensor([tokenizer.encode("Wikipedia was used to")])  # batch size of 1

language_id = tokenizer.lang2id["en"]  # 0
langs = torch.tensor([language_id] * input_ids.shape[1])  # torch.tensor([0, 0, 0, ..., 0])

# We reshape it to be of size (batch_size, sequence_length)
langs = langs.view(1, -1)  # is now of shape [1, sequence_length] (we have a batch size of 1)

outputs = model(input_ids, langs=langs)

✨ 主要特性

• 跨語言能力：支持英語和德語兩種語言，可用於跨語言的因果語言建模任務。
• 預訓練模型：基於Transformer架構進行預訓練，能夠學習到語言的通用特徵。

📦 安裝指南

文檔未提及安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

import torch
from transformers import XLMTokenizer, XLMWithLMHeadModel

tokenizer = XLMTokenizer.from_pretrained("xlm-clm-ende-1024")
model = XLMWithLMHeadModel.from_pretrained("xlm-clm-ende-1024")

input_ids = torch.tensor([tokenizer.encode("Wikipedia was used to")])  # batch size of 1

language_id = tokenizer.lang2id["en"]  # 0
langs = torch.tensor([language_id] * input_ids.shape[1])  # torch.tensor([0, 0, 0, ..., 0])

# We reshape it to be of size (batch_size, sequence_length)
langs = langs.view(1, -1)  # is now of shape [1, sequence_length] (we have a batch size of 1)

outputs = model(input_ids, langs=langs)

高級用法

文檔未提及高級用法代碼示例，故跳過此部分。

📚 詳細文檔

模型詳情

XLM模型由Guillaume Lample和Alexis Conneau在論文Cross-lingual Language Model Pretraining中提出。xlm-clm-ende-1024是一個使用因果語言建模（CLM）目標（下一個詞預測）針對英語 - 德語進行預訓練的Transformer模型。

使用方式

直接使用

該模型是一個語言模型，可用於因果語言建模。

下游使用

要了解更多關於此任務和潛在的下游使用方式，請參閱Hugging Face多語言推理模型文檔。

超出範圍的使用

該模型不應用於故意為人們創造敵對或排斥性的環境。

偏差、風險和侷限性

大量研究已經探討了語言模型的偏差和公平性問題（例如，參見Sheng等人（2021）和Bender等人（2021））。

建議

用戶（直接用戶和下游用戶）應該瞭解該模型的風險、偏差和侷限性。

訓練

有關訓練數據和訓練過程的詳細信息，請參閱相關論文。

評估

測試數據、因素和指標

有關測試數據、因素和指標的詳細信息，請參閱相關論文。

結果

有關xlm-clm-ende-1024的結果，請參閱相關論文的表2。

環境影響

可以使用Lacoste等人（2019）中提出的機器學習影響計算器來估算碳排放。

技術規格

模型開發者表示：

我們使用PyTorch（Paszke等人，2017）實現所有模型，並在64個Volta GPU上進行語言建模任務的訓練，在8個GPU上進行機器翻譯任務的訓練。我們使用float16運算來加速訓練並減少模型的內存使用。

有關更多詳細信息，請參閱相關論文。

引用

BibTeX：

@article{lample2019cross,
  title={Cross-lingual language model pretraining},
  author={Lample, Guillaume and Conneau, Alexis},
  journal={arXiv preprint arXiv:1901.07291},
  year={2019}
}

APA：

• Lample, G., & Conneau, A. (2019). Cross-lingual language model pretraining. arXiv preprint arXiv:1901.07291.

模型卡片作者

此模型卡片由Hugging Face團隊編寫。