B

Bert 1.3b

retrieva-jpによって開発
Megatron-LMで事前学習されたTransformerエンコーダーで、日本語シーン向けに設計
ダウンロード数 56
リリース時間 : 6/25/2024

モデル概要

RetrievaBERTはMegatron-LMフレームワークで事前学習されたTransformerエンコーダーで、日本語アプリケーションシーン向けに、事前正規化、SwiGLU活性化関数などの先進的な特徴を備えています

モデル特徴

事前正規化(PreNorm)
学習の安定性を向上
SwiGLU活性化関数
モデルの表現力を強化
グループ化クエリ注意機構
効率的な注意計算
長文処理能力
2048トークンまでの長文処理をサポート

モデル能力

日本語テキスト理解
英語テキスト理解
マスク言語モデリング
下流タスクのファインチューニング

使用事例

テキスト理解
日本語テキスト分類
日本語の感情分析、トピック分類などのタスクに使用可能
MARC-jaタスクで0.959の精度を達成
意味的類似度計算
日本語テキストペア間の意味的類似度を計算するために使用可能
JSTSタスクでピアソン相関係数0.917
質問応答システム
日本語質問応答システム
日本語ベースの質問応答システムの構築に使用可能
JSQuADタスクでEMスコア0.875
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
© 2025AIbase