🚀 h2o-danube-1.8b-base
h2o-danube-1.8b-baseは、H2O.aiによって訓練された18億のパラメータを持つ基礎モデルです。詳細については、技術レポートを参照してください。このモデルには3つのバージョンがあります。
🚀 クイックスタート
このモデルを使用するには、まずtransformersライブラリをインストールする必要があります。以下にGPUを搭載したマシンでtransformersライブラリを使用してモデルを利用する例を示します。
✨ 主な機能
- 18億のパラメータを持つ大規模言語モデル。
- Llama 2アーキテクチャを調整して訓練。
- 語彙サイズ32,000のLlama 2トークナイザーを使用。
- 最大16,384のコンテキスト長で訓練。
- 4,096のサイズのスライディングウィンドウアテンションを組み込んでいます。
📦 インストール
まず、transformersライブラリをインストールします。
💻 使用例
基本的な使用法
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("h2oai/h2o-danube-1.8b-base")
model = AutoModelForCausalLM.from_pretrained(
"h2oai/h2o-danube-1.8b-base",
torch_dtype=torch.bfloat16,
)
model.cuda()
inputs = tokenizer("The Danube is the second longest river in Europe", return_tensors="pt").to(model.device)
res = model.generate(
**inputs,
max_new_tokens=38,
do_sample=False,
)
print(tokenizer.decode(res[0], skip_special_tokens=True))
📚 ドキュメント
モデルの概要
h2o-danube-1.8b-baseは、H2O.aiによって訓練された18億のパラメータを持つ基礎モデルです。以下はモデルのバージョン情報です。
モデルアーキテクチャ
Llama 2アーキテクチャを調整し、合計約18億のパラメータを持つようにしています。語彙サイズ32,000の元のLlama 2トークナイザーを使用し、最大16,384のコンテキスト長でモデルを訓練しています。また、サイズ4,096のスライディングウィンドウアテンションを組み込んでいます。
ハイパーパラメータ |
値 |
n_layers |
24 |
n_heads |
32 |
n_query_groups |
8 |
n_embd |
2560 |
語彙サイズ |
32000 |
シーケンス長 |
16384 |
ベンチマーク
コモンセンス、世界知識、読解力を0ショットでテストした結果を以下に示します。
ベンチマーク |
acc_n |
ARC-easy |
62.29 |
ARC-challenge |
35.84 |
BoolQ |
65.81 |
Hellaswag |
68.20 |
OpenBookQA |
37.60 |
PiQA |
76.93 |
TriviaQA |
38.99 |
Winogrande |
61.96 |
免責事項
このリポジトリで提供される大規模言語モデルを使用する前に、この免責事項を注意深くお読みください。モデルを使用することで、以下の利用規約に同意したことになります。
- 偏見と不快な内容:大規模言語モデルは多様なインターネットテキストデータで訓練されており、偏見、人種差別、不快な内容、または不適切な内容が含まれる場合があります。このモデルを使用することで、生成された内容に時々偏見が見られたり、不快な内容や不適切な内容が生成されることを承知し、受け入れるものとします。このリポジトリの開発者は、そのような内容や見解を支持、支援、または促進するものではありません。
- 制限事項:大規模言語モデルはAIベースのツールであり、人間ではありません。誤った、無意味な、または関係のない応答を生成することがあります。生成された内容を批判的に評価し、裁量で使用するのはユーザーの責任です。
- 自己責任での使用:この大規模言語モデルのユーザーは、このツールの使用によって生じるすべての結果に対して完全な責任を負う必要があります。このリポジトリの開発者や貢献者は、提供されたモデルの使用または誤使用によって生じる損害、損失、または危害に対して責任を負いません。
- 倫理的な考慮事項:ユーザーは、大規模言語モデルを責任を持って倫理的に使用することが推奨されます。このモデルを使用することで、ヘイトスピーチ、差別、嫌がらせ、または違法な活動や有害な活動を促進する目的で使用しないことに同意するものとします。
- 問題の報告:大規模言語モデルによって生成された偏見、不快な内容、または不適切な内容に遭遇した場合は、提供されたチャネルを通じてリポジトリの管理者に報告してください。あなたのフィードバックは、モデルの改善と潜在的な問題の軽減に役立ちます。
- この免責事項の変更:このリポジトリの開発者は、事前の通知なしにこの免責事項を変更または更新する権利を留保します。ユーザーは、免責事項を定期的に確認し、変更について最新の情報を得る責任があります。
📄 ライセンス
このモデルはApache 2.0ライセンスの下で提供されています。