M

M2 Bert 80M 2k Retrieval

togethercomputerによって開発
これは8000万パラメータのM2-BERT事前学習チェックポイントで、シーケンス長2048をサポートし、長文コンテキスト検索タスク向けにファインチューニングされています。
ダウンロード数 538
リリース時間 : 11/13/2023

モデル概要

Monarch Mixer-BERTモデルはGEMMベースのサブ二次アーキテクチャで、長文コンテキスト検索タスク向けに最適化されており、情報検索用の高品質な埋め込みベクトルを生成できます。

モデル特徴

長シーケンス処理能力
最大2048のシーケンス長をサポートし、長文コンテンツの処理に適しています
効率的な検索
検索タスク向けに特別に最適化されており、高品質な768次元埋め込みベクトルを生成できます
サブ二次アーキテクチャ
Monarch Mixerアーキテクチャを採用し、GEMMベースで効率的な計算を実現

モデル能力

長文埋め込み生成
文類似度計算
情報検索

使用事例

情報検索
ドキュメント検索
クエリ内容に基づいて関連ドキュメントを見つけるドキュメント検索システムの構築に使用可能
意味検索
キーワードではなく意味に基づく検索機能をサポート
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
© 2025AIbase