AIbase
JA
ホーム
Msmarco Distilbert Word2vec256k MLM 230k
M

Msmarco Distilbert Word2vec256k MLM 230k

vocab-transformersによって開発
このモデルはDistilBERTアーキテクチャに基づく事前学習言語モデルで、word2vecで初期化された256kの語彙表を使用し、MS MARCOコーパスでマスク言語モデル（MLM）学習を行っています。
大規模言語モデル
Transformers
#大規模語彙表#単語埋め込みの凍結#MS MARCO事前学習
ダウンロード数 16
リリース時間 : 3/2/2022

モデル概要

このモデルはword2vecの単語埋め込み初期化とDistilBERTの軽量アーキテクチャを組み合わせており、テキスト表現と意味理解タスクに適しています。

モデル特徴

word2vec初期化
word2vec方法を使用して256kサイズの語彙表を初期化し、単語埋め込みの品質向上に役立ちます。
軽量アーキテクチャ
DistilBERTアーキテクチャに基づいており、オリジナルのBERTモデルよりも軽量で効率的です。
大規模学習
MS MARCOコーパスで23万ステップのMLM学習を行い、強力な意味理解能力を持っています。
単語埋め込みの凍結
学習過程で単語埋め込み行列を凍結し、上位構造の最適化に集中します。

モデル能力

テキスト表現
意味理解
マスク言語モデリング

使用事例

情報検索
文書検索
効率的な文書検索システムの構築に使用でき、クエリと文書の意味関係を理解します。
質問応答システム
オープンドメイン質問応答
質問応答システムの意味理解コンポーネントとして使用でき、質問を理解し関連する回答を検索するのに役立ちます。
おすすめAIモデル
Llama 3 Typhoon V1.5x 8b Instruct
タイ語専用に設計された80億パラメータの命令モデルで、GPT-3.5-turboに匹敵する性能を持ち、アプリケーションシナリオ、検索拡張生成、制限付き生成、推論タスクを最適化
大規模言語モデル Transformers 複数言語対応
L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-TinyはSODAデータセットでトレーニングされた超小型対話モデルで、エッジデバイス推論向けに設計されており、体積はCosmo-3Bモデルの約2％です。
対話システム Transformers 英語
C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
RoBERTaアーキテクチャに基づく中国語抽出型QAモデルで、与えられたテキストから回答を抽出するタスクに適しています。
質問応答システム 中国語
R
uer
2,694
98
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
English简体中文繁體中文にほんご
© 2025AIbase