模型概述
模型特點
模型能力
使用案例
🚀 XLM - RoBERTa基礎模型微調沃洛夫語後再微調斯瓦希里語命名實體識別模型
本模型是一個標記分類(具體為命名實體識別,NER)模型,它在MasakhaNER數據集(具體是斯瓦希里語部分)上對[xlm - roberta - base - finetuned - wolof](https://huggingface.co/Davlan/xlm - roberta - base - finetuned - wolof)進行了微調。
更多信息以及其他類似模型可在[主GitHub倉庫](https://github.com/Michael - Beukman/NERTransfer)中找到。
✨ 主要特性
- 基於Transformer架構,在MasakhaNER數據集上進行微調。
- 可用於斯瓦希里語的命名實體識別任務。
- 經過多輪訓練,選擇表現最佳的模型進行上傳。
📦 安裝指南
文檔未提及具體安裝步驟,可參考使用示例中的代碼,確保安裝transformers
庫。
💻 使用示例
基礎用法
from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline
model_name = 'mbeukman/xlm - roberta - base - finetuned - wolof - finetuned - ner - swahili'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForTokenClassification.from_pretrained(model_name)
nlp = pipeline("ner", model=model, tokenizer=tokenizer)
example = "Wizara ya afya ya Tanzania imeripoti Jumatatu kuwa , watu takriban 14 zaidi wamepata maambukizi ya Covid - 19 ."
ner_results = nlp(example)
print(ner_results)
📚 詳細文檔
關於
此模型基於Transformer架構,在MasakhaNER數據集上進行了微調。MasakhaNER是一個命名實體識別數據集,主要包含10種不同非洲語言的新聞文章。
該模型進行了50個輪次的微調,最大序列長度為200,批量大小為32,學習率為5e - 5。此過程重複了5次(使用不同的隨機種子),上傳的這個模型是這5個種子中在測試集上聚合F1得分最高的。
該模型由Michael Beukman在約翰內斯堡的威特沃特斯蘭德大學做項目時進行微調。截至2021年11月20日,這是版本1。此模型遵循[Apache許可證,版本2.0](https://www.apache.org/licenses/LICENSE - 2.0)。
聯繫與更多信息
如需瞭解有關模型的更多信息,包括訓練腳本、詳細結果和更多資源,可訪問[主GitHub倉庫](https://github.com/Michael - Beukman/NERTransfer)。你可以通過在此倉庫中提交問題來聯繫作者。
訓練資源
為了保證開放性並彙報所使用的資源,我們在此列出訓練過程所需的時間,以及復現此訓練所需的最小資源。在NER數據集上微調每個模型需要10到30分鐘,訓練在NVIDIA RTX3090 GPU上進行。要使用批量大小為32的訓練,至少需要14GB的GPU內存,不過當批量大小為1時,大約6.5GB的顯存也可以容納這些模型。
數據
訓練、評估和測試數據集直接取自MasakhaNER的[GitHub](https://github.com/masakhane - io/masakhane - ner)倉庫,幾乎沒有進行預處理,因為原始數據集已經具有很高的質量。
使用此數據的動機在於,它是“第一個大規模、公開可用、高質量的10種非洲語言命名實體識別(NER)數據集”(來源)。高質量的數據以及引入該數據集的論文所做的基礎工作,也是使用此數據集的更多原因。在評估時,使用了專門的測試分割集,該數據集與訓練數據的分佈相同,因此該模型可能無法推廣到其他分佈,需要進一步測試來研究這一點。數據的確切分佈在此處有詳細介紹。
預期用途
此模型旨在用於自然語言處理研究,例如可解釋性或遷移學習。不支持在生產環境中使用此模型,因為其泛化能力和性能有限。特別是,該模型並非設計用於可能影響人們的任何重要下游任務,因為模型的侷限性可能會造成危害,具體侷限性如下所述。
侷限性
此模型僅在一個(相對較小)的數據集上進行訓練,涵蓋一個任務(NER)、一個領域(新聞文章)以及特定的時間段。如果用於其他任務,結果可能無法泛化,模型可能表現不佳,或者出現不公平/有偏差的情況。儘管此項目的目的是研究遷移學習,但模型在未訓練的語言上的性能確實會受到影響。
由於此模型以xlm - roberta - base為起點(可能在特定語言上進行了領域自適應微調),因此該模型也可能存在與xlm - roberta - base相同的侷限性。這些侷限性可能包括偏向於大多數訓練數據的主流觀點、缺乏依據以及在其他語言上的表現不佳(可能是由於訓練數據不平衡)。
正如Adelani等人(2021)所示,一般來說,模型在處理長度超過3個單詞的實體以及訓練數據中未包含的實體時會遇到困難。這可能會使模型偏向於無法識別例如包含多個單詞的人名,從而可能導致結果出現偏差。同樣,不常見的名字(可能由於不同語言的原因未在訓練數據中出現)也會更難被預測。
此外,此模型尚未在實踐中得到驗證,如果在未驗證其是否能按預期工作的情況下使用,可能會出現其他更微妙的問題。
隱私與倫理考量
數據僅來自公開可用的新聞來源,可用數據應僅涵蓋公眾人物以及同意被報道的人。更多詳細信息請參閱原始的MasakhaNER論文。
在微調此模型期間,未進行明確的倫理考量或調整。
指標
語言自適應模型在性能上(大部分情況下)優於以xlm - roberta - base為起點的模型。我們的主要指標是所有NER類別的聚合F1得分。
這些指標是在MasakhaNER的測試集上得出的,因此數據分佈與訓練集相似,這些結果並不能直接表明這些模型的泛化能力。
我們發現,從不同種子開始進行遷移學習時,遷移結果存在很大差異(測試了5種不同的種子),這表明遷移學習的微調過程可能不穩定。
所使用的指標是為了與先前的工作保持一致,並便於研究。其他指標可能更適合其他目的。
注意事項和建議
一般來說,此模型在“日期”類別上的表現比其他類別差,因此如果日期是關鍵因素,則可能需要考慮並解決這個問題,例如收集和標註更多數據。
模型結構
以下是此特定模型與我們訓練的其他模型相比的一些性能細節。
所有這些指標都是在測試集上計算的,並且選擇了總體F1得分最高的種子。前三個結果列是所有類別的平均值,後四個列按類別提供性能數據。
此模型可以為標記預測以下標籤([來源](https://huggingface.co/Davlan/xlm - roberta - large - masakhaner)):
縮寫 | 描述 |
---|---|
O | 命名實體之外 |
B - DATE | 緊接另一個日期實體的日期實體的開始 |
I - DATE | 日期實體 |
B - PER | 緊接另一個人名的人名的開始 |
I - PER | 人名 |
B - ORG | 緊接另一個組織的組織的開始 |
I - ORG | 組織 |
B - LOC | 緊接另一個地點的地點的開始 |
I - LOC | 地點 |
模型名稱 | 起點 | 評估/微調語言 | F1 | 精確率 | 召回率 | F1(日期) | F1(地點) | F1(組織) | F1(人名) |
---|---|---|---|---|---|---|---|---|---|
[xlm - roberta - base - finetuned - wolof - finetuned - ner - swahili](https://huggingface.co/mbeukman/xlm - roberta - base - finetuned - wolof - finetuned - ner - swahili)(本模型) | [wol](https://huggingface.co/Davlan/xlm - roberta - base - finetuned - wolof) | 斯瓦希里語 | 87.80 | 86.50 | 89.14 | 86.00 | 90.00 | 78.00 | 93.00 |
[xlm - roberta - base - finetuned - hausa - finetuned - ner - swahili](https://huggingface.co/mbeukman/xlm - roberta - base - finetuned - hausa - finetuned - ner - swahili) | [hau](https://huggingface.co/Davlan/xlm - roberta - base - finetuned - hausa) | 斯瓦希里語 | 88.36 | 86.95 | 89.82 | 86.00 | 91.00 | 77.00 | 94.00 |
[xlm - roberta - base - finetuned - igbo - finetuned - ner - swahili](https://huggingface.co/mbeukman/xlm - roberta - base - finetuned - igbo - finetuned - ner - swahili) | [ibo](https://huggingface.co/Davlan/xlm - roberta - base - finetuned - igbo) | 斯瓦希里語 | 87.75 | 86.55 | 88.97 | 85.00 | 92.00 | 77.00 | 91.00 |
[xlm - roberta - base - finetuned - kinyarwanda - finetuned - ner - swahili](https://huggingface.co/mbeukman/xlm - roberta - base - finetuned - kinyarwanda - finetuned - ner - swahili) | [kin](https://huggingface.co/Davlan/xlm - roberta - base - finetuned - kinyarwanda) | 斯瓦希里語 | 87.26 | 85.15 | 89.48 | 83.00 | 91.00 | 75.00 | 93.00 |
[xlm - roberta - base - finetuned - luganda - finetuned - ner - swahili](https://huggingface.co/mbeukman/xlm - roberta - base - finetuned - luganda - finetuned - ner - swahili) | [lug](https://huggingface.co/Davlan/xlm - roberta - base - finetuned - luganda) | 斯瓦希里語 | 88.93 | 87.64 | 90.25 | 83.00 | 92.00 | 79.00 | 95.00 |
[xlm - roberta - base - finetuned - luo - finetuned - ner - swahili](https://huggingface.co/mbeukman/xlm - roberta - base - finetuned - luo - finetuned - ner - swahili) | [luo](https://huggingface.co/Davlan/xlm - roberta - base - finetuned - luo) | 斯瓦希里語 | 87.93 | 86.91 | 88.97 | 83.00 | 91.00 | 76.00 | 94.00 |
[xlm - roberta - base - finetuned - naija - finetuned - ner - swahili](https://huggingface.co/mbeukman/xlm - roberta - base - finetuned - naija - finetuned - ner - swahili) | [pcm](https://huggingface.co/Davlan/xlm - roberta - base - finetuned - naija) | 斯瓦希里語 | 87.26 | 85.15 | 89.48 | 83.00 | 91.00 | 75.00 | 93.00 |
[xlm - roberta - base - finetuned - swahili - finetuned - ner - swahili](https://huggingface.co/mbeukman/xlm - roberta - base - finetuned - swahili - finetuned - ner - swahili) | [swa](https://huggingface.co/Davlan/xlm - roberta - base - finetuned - swahili) | 斯瓦希里語 | 90.36 | 88.59 | 92.20 | 86.00 | 93.00 | 79.00 | 96.00 |
[xlm - roberta - base - finetuned - yoruba - finetuned - ner - swahili](https://huggingface.co/mbeukman/xlm - roberta - base - finetuned - yoruba - finetuned - ner - swahili) | [yor](https://huggingface.co/Davlan/xlm - roberta - base - finetuned - yoruba) | 斯瓦希里語 | 87.73 | 86.67 | 88.80 | 85.00 | 91.00 | 75.00 | 93.00 |
[xlm - roberta - base - finetuned - ner - swahili](https://huggingface.co/mbeukman/xlm - roberta - base - finetuned - ner - swahili) | [base](https://huggingface.co/xlm - roberta - base) | 斯瓦希里語 | 88.71 | 86.84 | 90.67 | 83.00 | 91.00 | 79.00 | 95.00 |
🔧 技術細節
- 模型基於Transformer架構,以xlm - roberta - base為基礎進行微調。
- 訓練參數:50個輪次,最大序列長度200,批量大小32,學習率5e - 5。
- 進行了5次不同隨機種子的訓練,選擇最佳模型上傳。
📄 許可證
本模型遵循[Apache許可證,版本2.0](https://www.apache.org/licenses/LICENSE - 2.0)。








