Byt5 Small English
歴史的多言語および単一言語ByT5基礎モデル、現在のバージョンは英語テキスト処理に特化。
ダウンロード数 30
リリース時間 : 4/8/2023
モデル概要
ByT5アーキテクチャに基づく基礎言語モデル、英語テキスト向けに事前学習されており、様々な自然言語処理タスクに適用可能。
モデル特徴
歴史テキスト最適化
大英図書館書籍コーパスで訓練されており、歴史文献や書籍テキストの処理に特に適している。
マルチタスク適応
固有表現認識などの下流タスクで優れた性能を発揮、平均F1スコア85以上を達成。
効率的な訓練
単一のv3-8 TPUを使用して事前学習を行い、訓練効率が高い。
モデル能力
英語テキスト理解
固有表現認識
歴史文献処理
使用事例
学術研究
歴史文献分析
大英図書館の歴史書籍に対して固有表現認識と情報抽出を実施
英語AjMCデータセットでF1スコア85.65を達成
情報抽出
多言語固有表現認識
英語、ドイツ語、フランス語など多言語の固有表現認識タスクを処理
ドイツ語AjMCでF1スコア87.27、フランス語AjMCで84.44を達成
おすすめAIモデル
Llama 3 Typhoon V1.5x 8b Instruct
タイ語専用に設計された80億パラメータの命令モデルで、GPT-3.5-turboに匹敵する性能を持ち、アプリケーションシナリオ、検索拡張生成、制限付き生成、推論タスクを最適化
大規模言語モデル
Transformers 複数言語対応

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-TinyはSODAデータセットでトレーニングされた超小型対話モデルで、エッジデバイス推論向けに設計されており、体積はCosmo-3Bモデルの約2%です。
対話システム
Transformers 英語

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
RoBERTaアーキテクチャに基づく中国語抽出型QAモデルで、与えられたテキストから回答を抽出するタスクに適しています。
質問応答システム 中国語
R
uer
2,694
98