M

M2 Bert 80M 32k Retrieval

togethercomputerによって開発
これは80MパラメータのM2-BERT事前学習モデルで、最大32768のシーケンス長をサポートし、長文コンテキスト検索タスクに最適化されています
ダウンロード数 1,274
リリース時間 : 11/4/2023

モデル概要

Monarch Mixerアーキテクチャに基づくBERT変種モデルで、長文検索タスク向けに微調整されており、高品質なテキスト埋め込みベクトルを生成できます

モデル特徴

超長文コンテキスト処理
最大32768トークンのシーケンス長をサポートし、長文ドキュメント検索タスクに適しています
効率的なアーキテクチャ
Monarch Mixerのサブ二次アーキテクチャを採用し、性能を維持しながら計算効率を向上
検索最適化
検索タスク向けに特別に微調整され、768次元の高品質テキスト埋め込みを生成

モデル能力

長文類似度計算
意味検索
テキスト埋め込み生成

使用事例

情報検索
長文ドキュメント検索
大量の長文ドキュメントから関連コンテンツを迅速に検索
32kトークンまでのドキュメントを効果的に処理可能
意味検索
キーワードではなく意味に基づくドキュメント検索
高品質な意味的埋め込みベクトルを生成
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
© 2025AIbase