Xlm Roberta Base Finetuned Swahili Finetuned Ner Swahili

🚀 XLM-RoBERTa基礎模型微調斯瓦希里語命名實體識別模型

這是一個分詞分類（具體為命名實體識別，NER）模型，它在MasakhaNER數據集（特別是斯瓦希里語部分）上對xlm-roberta-base-finetuned-swahili進行了微調。

更多信息以及其他類似模型可在主GitHub倉庫中找到。

✨ 主要特性

• 該模型基於Transformer架構，並在MasakhaNER數據集上進行了微調。這是一個命名實體識別數據集，主要包含10種不同非洲語言的新聞文章。
• 模型經過50個訓練週期的微調，最大序列長度為200，批量大小為32，學習率為5e - 5。此過程重複了5次（使用不同的隨機種子），上傳的這個模型在這5個種子的測試集上的綜合F1得分表現最佳。

📦 安裝指南

文檔未提及具體安裝步驟，可參考使用示例部分代碼，確保環境中安裝了transformers庫。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline
model_name = 'mbeukman/xlm-roberta-base-finetuned-swahili-finetuned-ner-swahili'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForTokenClassification.from_pretrained(model_name)

nlp = pipeline("ner", model=model, tokenizer=tokenizer)
example = "Wizara ya afya ya Tanzania imeripoti Jumatatu kuwa , watu takriban 14 zaidi wamepata maambukizi ya Covid - 19 ."

ner_results = nlp(example)
print(ner_results)

📚 詳細文檔

關於模型

此模型基於Transformer架構，在MasakhaNER數據集上進行了微調。該數據集是一個命名實體識別數據集，主要包含10種不同非洲語言的新聞文章。模型由Michael Beukman在約翰內斯堡的威特沃特斯蘭德大學做項目時進行微調，版本為1，發佈於2021年11月20日。該模型遵循Apache許可證2.0版。

聯繫與更多信息

如需瞭解更多關於模型的信息，包括訓練腳本、詳細結果和其他資源，可訪問主GitHub倉庫。你可以通過在此倉庫中提交問題與作者聯繫。

訓練資源

為保證開放性並彙報使用的資源，這裡列出訓練過程所需的時間以及復現所需的最低資源。在命名實體識別數據集上微調每個模型需要10到30分鐘，訓練在NVIDIA RTX3090 GPU上進行。使用批量大小為32時，至少需要14GB的GPU內存；當批量大小為1時，大約6.5GB的顯存也可以運行這些模型。

數據

訓練、評估和測試數據集直接取自MasakhaNER的GitHub倉庫，幾乎沒有進行預處理，因為原始數據集質量很高。使用該數據的動機在於它是“首個用於10種非洲語言命名實體識別（NER）的大型、公開可用、高質量數據集”(來源)。高質量的數據以及引入該數據集的論文所做的基礎工作，也是選擇該數據集的原因。評估時使用了專門的測試集，其數據分佈與訓練集相似，因此該模型可能無法很好地泛化到其他分佈，需要進一步測試來研究。數據的確切分佈在此處有詳細介紹。

預期用途

該模型旨在用於自然語言處理研究，例如可解釋性或遷移學習。不支持在生產環境中使用該模型，因為其泛化能力和性能有限。特別是，它不適合用於任何可能影響人們的重要下游任務，因為模型的侷限性可能會造成危害，具體如下所述。

侷限性

• 該模型僅在一個（相對較小）的數據集上進行了訓練，涵蓋一個任務（命名實體識別）、一個領域（新聞文章）以及特定的時間段。結果可能無法泛化，如果用於其他任務，模型可能表現不佳，或者存在不公平/有偏差的情況。儘管該項目的目的是研究遷移學習，但模型在未訓練的語言上的性能確實會受到影響。
• 由於該模型以xlm - roberta - base為起點（可能在特定語言上進行了領域自適應微調），因此該基礎模型的侷限性也可能適用於此。這些侷限性可能包括偏向於其大部分訓練數據的主流觀點、缺乏依據以及在其他語言上的表現不佳（可能是由於訓練數據不平衡）。
• 正如Adelani等人（2021）所示，一般來說，模型在處理長度超過3個單詞的實體以及訓練數據中未包含的實體時會遇到困難。這可能會使模型偏向於無法識別例如包含多個單詞的人名，從而可能導致結果出現偏差。同樣，不常見的名字（可能由於不同語言）在訓練數據中未出現，也會被預測得更少。
• 此外，該模型尚未在實踐中得到驗證，如果在未驗證其是否能按預期工作的情況下使用，可能會出現其他更微妙的問題。

隱私與倫理考慮

數據僅來自公開的新聞來源，可用數據應涵蓋公眾人物以及同意被報道的人。更多詳細信息請參閱原始的MasakhaNER論文。在微調此模型期間，未進行明確的倫理考慮或調整。

指標

基於語言自適應的模型在性能上（大部分情況下）優於以xlm - roberta - base為起點的模型。主要指標是所有命名實體識別類別的綜合F1得分。這些指標是在MasakhaNER的測試集上得出的，因此數據分佈與訓練集相似，這些結果並不能直接表明這些模型的泛化能力。從不同種子開始進行遷移學習時，遷移結果存在較大差異（測試了5種不同的種子），這表明遷移的微調過程可能不穩定。所使用的指標是為了與先前的工作保持一致，並便於研究。其他指標可能更適合其他用途。

注意事項和建議

總體而言，該模型在“日期”類別上的表現比其他類別差。因此，如果日期是關鍵因素，則可能需要考慮並解決這個問題，例如收集和標註更多數據。

模型結構

以下是該特定模型與其他訓練模型相比的一些性能細節。所有這些指標都是在測試集上計算的，並選擇了能給出最佳綜合F1得分的種子。前三個結果列是所有類別的平均值，後四個列按類別提供性能數據。

該模型可以為一個分詞預測以下標籤(來源):

📄 許可證

該模型遵循Apache許可證2.0版。