German Financial Statements Bert

🚀 german-financial-statements-bert

このモデルは、ドイツ語の財務諸表を使用してbert-base-german-casedをファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 1.2025
• 正解率: 0.7376
• 困惑度: 3.3285

🚀 クイックスタート

このモデルは、ドイツ語の財務諸表を対象としたBERTモデルです。評価セットでの損失、正解率、困惑度の数値を参考に、財務分野の自然言語処理タスクに活用できます。

✨ 主な機能

• ドイツ語の財務諸表に特化したBERTモデルを提供します。
• 評価セットで一定の性能を達成しており、財務分野のタスクに有効です。

📚 ドキュメント

モデルの説明

ドイツの年次財務諸表は連邦官報に公開されており、無料でアクセスできます。これらの文書は、報告期間を参照して企業の経営状況、特に財務状況を説明しています。german-financial-statements-bertモデルは、この分野に特化したBERTモデルを提供することを目的としています。

学習と評価データ

学習は、年次財務諸表から抽出した100,000の自然言語文を使用して行われました。これらの文のうち50,000は、5,500の異なる財務諸表文書から無作為に抽出され、フィルタリングされていません。もう一方の50,000も5,500の異なる財務諸表文書から無作為に抽出されましたが、この半分は、財務主体を参照する文のみが選択されるようにフィルタリングされています。具体的には、文の後半には、財務主体への参照の指標（EUR、Euro、TEUR、€、T€）が含まれています。評価は、同じ起源と分布の20,000の文を使用して行われました。

学習ハイパーパラメータ

学習中に以下のハイパーパラメータが使用されました。

• learning_rate: 5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 3.0

フレームワークのバージョン

• Transformers 4.17.0
• Pytorch 1.10.0+cu111
• Datasets 1.18.3
• Tokenizers 0.11.6

📄 ライセンス

このモデルはMITライセンスの下で提供されています。