Deformer

🚀 DeFormer

DeFormerは、スウェーデン語の文章における de と dem を区別するように訓練されたモデルです。このモデルは、Hosted Inference API の右側のパネルで、文章を入力して Compute をクリックすることで直接テストできます。

更新 2023-05-06: 現在、このモデルは det の t が抜けた場合も扱うことができます。新しいバージョンは、de、det、dem の区別、および enda と ända の区別を学習するように訓練されています。

使用方法: テスト時には、de/dem/enda/ända はすべて小文字で入力してください。モデルの訓練時には、すべての "De" と "Dem" が小文字に変換されました。

📦 インストール

このセクションでは、DeFormerモデルのテスト方法を説明します。モデルは、Hosted Inference API の右側のパネルで直接テストできます。具体的な手順は以下の通りです。

1. 文章を入力します。
2. Compute をクリックします。

これにより、モデルが入力した文章に対して de と dem の区別を行い、結果を表示します。

📚 ドキュメント

ウィジェットの使用例

以下は、ウィジェットの使用例です。各例には、文章とそのタイトルが記載されています。

• de/dem 例1
  • 文章: "dem har sökt upp de för att prata."
• de/dem 例2
  • 文章: "Jag såg de komma runt hörnet och gå i riktning mot dem byggnaderna."
• enda/ända と de(t)
  • 文章: "de är ganska tråkigt att de blivit såhär, men de va de ända jag kunde göra"

訓練データ

DeFormerは、欧州議会の文章とスウェーデン語のウィキメディアの文章を訓練データとして使用しています。これらのデータは OPUS から取得されました。データソースは、正しい言語使用が想定されるために選ばれました。

訓練データセットの構築に際しては、de、dem、det、enda または ända を含む文章のみが保持されました。以下の表には、各データセットから保持された文章の数、および各単語の出現頻度に関する記述統計が示されています。

DeFormerの訓練時には、上記の単語が通常混同される形式にランダムに置き換えられました。その後、モデルは、与えられた単語が以下のカテゴリのいずれに属するかを分類するように挑戦されました。

1. ord (de/dem ではないすべての背景単語はこのカテゴリに属します)
2. DE
3. DEM
4. DET
5. ENDA
6. ÄNDA

観測値がモデル訓練に送られる前に、de は約50％の確率で det または dem に置き換えられ、dem は40％の確率で de に置き換えられました。enda と ända の間でも同様の置き換えが行われました。

正解率

DeFormerは、モデルが訓練されたのと同じデータソース（スウェーデン語のウィキ + 欧州議会 + JRC）からの31200の文章で構成される検証セットで評価されました。モデルを挑戦するためにランダムな誤りが導入されました。元の文章に含まれる de の47％が dem に変更され、dem の40％が de に変更されました。以下の表は、DeFormerが非常に正確であることを示しています。モデルが出力する少数の "誤った" 予測は、ほとんどが副文を含む de/dem som 構文です。これらの大部分は、両方の形式が許容される ため、実際には誤ったと見なすべきではありません。

注意: 以下の表は、de と dem のみを区別する古いバージョンのDeFormerに適用されます。

⚠️ 重要提示

テスト時には、de/dem/enda/ända はすべて小文字で入力してください。モデルの訓練時には、すべての "De" と "Dem" が小文字に変換されました。

⚠️ 重要提示

以下の表は、de と dem のみを区別する古いバージョンのDeFormerに適用されます。