H

H2o Danube 1.8b Base

h2oaiによって開発
H2O.aiがトレーニングした18億パラメータのベース言語モデルで、改良されたLlama 2アーキテクチャに基づき、16Kのコンテキスト長をサポート
ダウンロード数 281
リリース時間 : 1/23/2024

モデル概要

これはテキスト生成と理解タスクに適した事前トレーニング済みベース言語モデルで、具体的なアプリケーションシナリオに合わせてファインチューニングすることを推奨

モデル特徴

長文コンテキストサポート
16,384トークンのコンテキスト長をサポートし、長文書の処理に適している
効率的なアテンションメカニズム
mistralのスライディングウィンドウアテンション(ウィンドウサイズ4,096)を採用し、長シーケンス処理の効率を向上
複数バージョンの選択肢
ベース版、教師ありファインチューニング版、会話最適化版の3つのバリエーションを提供

モデル能力

テキスト生成
言語理解
常識推論
質問応答システム

使用事例

対話システム
インテリジェントチャットボット
h2o-danube-1.8b-chatバージョンを使用して対話システムを構築
知識質問応答
オープンドメインQA
モデルの世界知識に基づく質問解答
TriviaQAで38.99%の精度を達成
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
© 2025AIbase