Umberto Commoncrawl Cased V1

🚀 UmBERTo Commoncrawl Cased

UmBERTo是一個基於Roberta的語言模型，在大型意大利語語料庫上進行訓練，並採用了兩種創新方法：SentencePiece和全詞掩碼（Whole Word Masking）。現在可在github.com/huggingface/transformers獲取。

Marco Lodola, Monument to Umberto Eco, Alessandria 2019

📦 安裝指南

此部分原文檔未提及具體安裝步驟，故跳過。

✨ 主要特性

• 基於Roberta架構，在大型意大利語語料庫上訓練。
• 採用SentencePiece和全詞掩碼（Whole Word Masking）兩種創新方法。

📚 詳細文檔

數據集

UmBERTo-Commoncrawl-Cased使用OSCAR的意大利語子語料庫作為語言模型的訓練集。我們使用了意大利語語料庫的去重版本，該版本包含70GB的純文本數據、2.1億個句子和110億個單詞。為了用於自然語言處理研究，這些句子在行級別進行了過濾和打亂。

預訓練模型

該模型使用SentencePiece和全詞掩碼（Whole Word Masking）進行訓練。

下游任務

這些結果是關於umberto-commoncrawl-cased模型的。所有詳細信息可在Umberto官方頁面查看。

命名實體識別（NER）

詞性標註（POS）

💻 使用示例

基礎用法

import torch
from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("Musixmatch/umberto-commoncrawl-cased-v1")
umberto = AutoModel.from_pretrained("Musixmatch/umberto-commoncrawl-cased-v1")

encoded_input = tokenizer.encode("Umberto Eco è stato un grande scrittore")
input_ids = torch.tensor(encoded_input).unsqueeze(0)  # Batch size 1
outputs = umberto(input_ids)
last_hidden_states = outputs[0]  # The last hidden-state is the first element of the output

高級用法

from transformers import pipeline

fill_mask = pipeline(
    "fill-mask",
    model="Musixmatch/umberto-commoncrawl-cased-v1",
    tokenizer="Musixmatch/umberto-commoncrawl-cased-v1"
)

result = fill_mask("Umberto Eco è <mask> un grande scrittore")
# {'sequence': '<s> Umberto Eco è considerato un grande scrittore</s>', 'score': 0.18599839508533478, 'token': 5032}
# {'sequence': '<s> Umberto Eco è stato un grande scrittore</s>', 'score': 0.17816807329654694, 'token': 471}
# {'sequence': '<s> Umberto Eco è sicuramente un grande scrittore</s>', 'score': 0.16565583646297455, 'token': 2654}
# {'sequence': '<s> Umberto Eco è indubbiamente un grande scrittore</s>', 'score': 0.0932890921831131, 'token': 17908}
# {'sequence': '<s> Umberto Eco è certamente un grande scrittore</s>', 'score': 0.054701317101716995, 'token': 5269}

📄 許可證

所有原始數據集都是公開可用的，或者是在所有者授權下發布的。這些數據集均在CC0或CCBY許可證下發布。

• UD Italian-ISDT數據集 Github
• UD Italian-ParTUT數據集 Github
• I-CAB（意大利語內容標註庫），EvalITA 頁面
• WIKINER 頁面，論文

@inproceedings {magnini2006annotazione,
    title = {Annotazione di contenuti concettuali in un corpus italiano: I - CAB},
    author = {Magnini,Bernardo and Cappelli,Amedeo and Pianta,Emanuele and Speranza,Manuela and Bartalesi Lenzi,V and Sprugnoli,Rachele and Romano,Lorenza and Girardi,Christian and Negri,Matteo},
    booktitle = {Proc.of SILFI 2006},
    year = {2006}
}
@inproceedings {magnini2006cab,
    title = {I - CAB: the Italian Content Annotation Bank.},
    author = {Magnini,Bernardo and Pianta,Emanuele and Girardi,Christian and Negri,Matteo and Romano,Lorenza and Speranza,Manuela and Lenzi,Valentina Bartalesi and Sprugnoli,Rachele},
    booktitle = {LREC},
    pages = {963--968},
    year = {2006},
    organization = {Citeseer}
}

👥 作者

• Loreto Parisi：loreto at musixmatch dot com，loretoparisi
• Simone Francia：simone.francia at musixmatch dot com，simonefrancia
• Paolo Magnani：paul.magnani95 at gmail dot com，paulthemagno

🏢 關於Musixmatch AI

我們在musixmatch進行機器學習和人工智能研究。 在Twitter Github上關注我們。