🚀 xlm-roberta-base-finetuned-ner-wolof
這是一個用於令牌分類(具體為命名實體識別,NER)的模型,它在MasakhaNER數據集(具體是沃洛夫語部分)上對xlm-roberta-base進行了微調。在主GitHub倉庫中可以找到更多信息和其他類似模型。
✨ 主要特性
- 基於Transformer架構,在MasakhaNER數據集上進行微調。
- 該數據集是一個命名實體識別數據集,包含10種不同非洲語言的新聞文章。
- 模型經過50個訓練週期的微調,最大序列長度為200,批量大小為32,學習率為5e - 5。此過程重複了5次(使用不同的隨機種子),上傳的這個模型在這5個種子中(測試集上的綜合F1分數)表現最佳。
📦 安裝指南
文檔中未提及安裝相關內容,若要使用該模型,可參考以下使用示例中的依賴安裝。
💻 使用示例
基礎用法
from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline
model_name = 'mbeukman/xlm-roberta-base-finetuned-ner-wolof'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForTokenClassification.from_pretrained(model_name)
nlp = pipeline("ner", model=model, tokenizer=tokenizer)
example = "SAFIYETU BÉEY Céy Koronaa !"
ner_results = nlp(example)
print(ner_results)
📚 詳細文檔
關於
此模型基於Transformer架構,並在MasakhaNER數據集上進行了微調。該數據集是一個命名實體識別數據集,主要包含10種不同非洲語言的新聞文章。
模型進行了50個訓練週期的微調,最大序列長度為200,批量大小為32,學習率為5e - 5。此過程重複了5次(使用不同的隨機種子),上傳的這個模型在這5個種子中(測試集上的綜合F1分數)表現最佳。
該模型由Michael Beukman在約翰內斯堡的威特沃特斯蘭德大學做項目時進行微調。截至2021年11月20日,這是版本1。此模型遵循Apache許可證,版本2.0。
聯繫與更多信息
有關模型的更多信息,包括訓練腳本、詳細結果和更多資源,你可以訪問主GitHub倉庫。你可以通過在此倉庫中提交問題來聯繫我。
訓練資源
為了保證開放性並報告使用的資源,我們在此列出訓練過程所需的時間,以及復現此過程所需的最低資源。在NER數據集上微調每個模型需要10到30分鐘,並且是在NVIDIA RTX3090 GPU上進行的。要使用批量大小為32,至少需要14GB的GPU內存,不過當使用批量大小為1時,大約6.5GB的顯存也可以勉強運行這些模型。
數據
訓練、評估和測試數據集直接取自MasakhaNER的GitHub倉庫,幾乎沒有進行預處理,因為原始數據集的質量已經很高。
使用此數據的動機在於,它是“第一個大規模、公開可用、高質量的十種非洲語言命名實體識別(NER)數據集”(來源)。高質量的數據以及介紹該數據集的論文所奠定的基礎,也是使用此數據集的更多原因。在評估時,使用了專門的測試分割集,該數據集與訓練集的數據分佈相同,因此該模型可能無法很好地泛化到其他分佈,需要進行進一步測試來研究這一點。數據的確切分佈在此處有詳細介紹。
預期用途
該模型旨在用於自然語言處理研究,例如可解釋性或遷移學習。不支持在生產環境中使用此模型,因為其泛化能力和整體性能有限。特別是,它並非設計用於任何可能影響人們的重要下游任務,因為模型的侷限性(如下所述)可能會造成危害。
侷限性
該模型僅在一個(相對較小)的數據集上進行了訓練,涵蓋了一個任務(NER)、一個領域(新聞文章)和一個特定的時間段。如果用於其他任務,結果可能無法泛化,模型可能表現不佳,或者以不公平/有偏差的方式運行。儘管此項目的目的是研究遷移學習,但模型在未訓練過的語言上的性能確實會受到影響。
由於該模型以xlm - roberta - base為起點(可能在特定語言上進行了領域自適應微調),因此xlm - roberta - base的侷限性也可能適用於此模型。這些侷限性可能包括偏向於大多數訓練數據的主流觀點、缺乏依據以及在其他語言上的表現不佳(可能是由於訓練數據不平衡)。
正如Adelani等人(2021)所示,一般來說,模型在處理長度超過3個單詞的實體以及訓練數據中未包含的實體時會遇到困難。這可能會使模型偏向於不識別例如包含多個單詞的人名,從而可能導致結果出現偏差。同樣,不常見的名字(由於例如不同語言的原因)可能在訓練數據中未出現,也會被預測得更少。
此外,該模型尚未在實踐中得到驗證,如果在未驗證其是否能按預期工作的情況下使用,可能會出現其他更微妙的問題。
隱私與倫理考量
數據僅來自公開可用的新聞來源,可用數據應涵蓋公眾人物以及同意被報道的人。更多詳細信息請參閱原始的MasakhaNER論文。
在微調此模型期間,未進行明確的倫理考量或調整。
指標
與以xlm - roberta - base為起點相比,語言自適應模型(大部分)表現更優。我們的主要指標是所有NER類別的綜合F1分數。
這些指標是在MasakhaNER的測試集上得出的,因此數據分佈與訓練集相似,這些結果並不能直接表明這些模型的泛化能力如何。
我們發現,從不同種子開始進行遷移學習時,結果存在很大差異(測試了5種不同的種子),這表明遷移學習的微調過程可能不穩定。
選擇這些指標是為了與先前的工作保持一致,並便於研究。對於其他目的,可能需要使用其他更合適的指標。
注意事項和建議
一般來說,該模型在“日期”類別上的表現比其他類別差,因此如果日期是關鍵因素,可能需要考慮並解決這個問題,例如收集和標註更多數據。
模型結構
以下是該特定模型與我們訓練的其他模型相比的一些性能細節。
所有這些指標都是在測試集上計算的,並且選擇了能給出最佳整體F1分數的種子。前三個結果列是所有類別的平均值,後四個列按類別提供性能數據。
該模型可以為令牌預測以下標籤(來源):
縮寫 |
描述 |
O |
命名實體之外 |
B - DATE |
緊接在另一個DATE實體之後的DATE實體的開始 |
I - DATE |
DATE實體 |
B - PER |
緊接在另一個人名之後的人名的開始 |
I - PER |
人名 |
B - ORG |
緊接在另一個組織之後的組織的開始 |
I - ORG |
組織 |
B - LOC |
緊接在另一個位置之後的位置的開始 |
I - LOC |
位置 |
模型名稱 |
起始點 |
評估/微調語言 |
F1 |
精確率 |
召回率 |
F1(日期) |
F1(位置) |
F1(組織) |
F1(人名) |
[xlm - roberta - base - finetuned - ner - wolof](https://huggingface.co/mbeukman/xlm - roberta - base - finetuned - ner - wolof)(本模型) |
[base](https://huggingface.co/xlm - roberta - base) |
沃洛夫語 |
66.12 |
69.46 |
63.09 |
30.00 |
84.00 |
54.00 |
59.00 |
[xlm - roberta - base - finetuned - swahili - finetuned - ner - wolof](https://huggingface.co/mbeukman/xlm - roberta - base - finetuned - swahili - finetuned - ner - wolof) |
[swa](https://huggingface.co/Davlan/xlm - roberta - base - finetuned - swahili) |
沃洛夫語 |
69.01 |
73.25 |
65.23 |
27.00 |
85.00 |
52.00 |
67.00 |
[xlm - roberta - base - finetuned - wolof - finetuned - ner - wolof](https://huggingface.co/mbeukman/xlm - roberta - base - finetuned - wolof - finetuned - ner - wolof) |
[wol](https://huggingface.co/Davlan/xlm - roberta - base - finetuned - wolof) |
沃洛夫語 |
69.02 |
67.60 |
70.51 |
30.00 |
84.00 |
44.00 |
71.00 |
📄 許可證
該模型遵循Apache許可證,版本2.0。