Nb Nn Translation

🚀 🇳🇴 ボクマール ⇔ ニュノルスク 🇳🇴

ノルウェー語には、比較的似た2つの書き言葉、ボクマールとニュノルスクがあります。歴史的に、ニュノルスクは1800年代半ばから後半に言語学者のイヴァール・アーセンによって整理された方言に基づく書き言葉の規範であり、ボクマールは書かれたデンマーク語の徐々な「ノルウェー化」です。これら2つの書き言葉は同等と見なされ、市民は自分たちの主要言語または好みの言語で公共サービス情報を受け取る権利を持っています。ただ、この権利は長い間存在しているにもかかわらず、ノルウェー語のテキストのうちニュノルスクで書かれているのはわずか5 - 10％です。したがって、ニュノルスクは低資源言語の中の低資源言語となっています。

単語リストベースのエンジンを除けば、すぐに使える機械学習ベースの翻訳モデルはありません。ボクマールとニュノルスク間の翻訳はGoogle翻訳では利用できません。

🚀 クイックスタート

デモ

T5-baseの事前学習

ノルウェー語を含むmt5があります。残念ながら、この中のニュノルスクの部分は非常に少なく、mC4には約1GBのニュノルスクテキストしかありません。それにもかかわらず、mt5は80を超えるBLEUスコアを出します。このプロジェクトでは、ノルウェー国立図書館のノルウェー巨大コーパスから利用可能なすべてのニュノルスクテキストを抽出し、資料の種類（書籍、新聞など）に基づいて同量のボクマールとマッチングさせました。コーパスの収集についてはこちらで説明されており、合計サイズは19GBです。

微調整 - BLEUスコア88.17 🎉

このプロジェクトの中心的な微調整データは、様々な教科書や新聞から抽出された20万の翻訳単位（TU）、つまりそれぞれの言語の文のペアです。

学習率[7e - 4]、バッチサイズ[32]、最大ソースおよびターゲット長[512]で[10]エポックの学習を行うと、微調整により学習時のSACREBLEUスコアは[88.03]、学習後のテストスコアは[88.17]に達しました。

これは翻訳機ではありません

双方向に学習させ、入力がボクマールかニュノルスクかをモデルに判断させることで、ほぼ同じBLEUスコアを得ることができることがわかりました。この方法では、2つのモデルを学習させる代わりに1つのモデルを学習させることができます。これを言語切り替え器と呼んでいます。

将来的な作業

現在、次のGoogle Docsアドオンの承認待ちです。

💻 使用例

基本的な使用法

# Set up the pipeline
from transformers import pipeline
translator = pipeline("translation", model='pere/nb-nn-translation')

# Do the translation
text = "Hun vil ikke gi bort sine personlige data."
print(translator(text, max_length=255))

📄 ライセンス

このプロジェクトはCC BY 4.0ライセンスの下で提供されています。