Nano Mistral

🚀 モデルIDのモデルカード

このモデルは🤗 transformersライブラリを用いて開発された言語モデルで、極めて少ないリソースで一般的なウェブテキストの生成が可能です。

🚀 クイックスタート

以下のコードを使用して、モデルをすぐに使い始めることができます。

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("crumb/nano-mistral")
tokenizer = AutoTokenizer.from_pretrained("crumb/nano-mistral")

inputs = tokenizer(["Once upon a time,"], return_tensors="pt")
inputs = {k:v.to(model.device) for k,v in dict(inputs).items()}
outputs = model.generate(inputs, max_new_tokens=128, temperature=0.7, top_k=20, do_sample=True)
outputs = tokenizer.batch_decode(outputs)
for i in outputs:
  print(i)

✨ 主な機能

• 極めて少ないリソースで一般的なウェブテキストの生成が可能。
• Mistralアーキテクチャを採用した因果言語モデル。

📦 インストール

このモデルはtransformersライブラリを使用しています。ライブラリがインストールされていない場合は、以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("crumb/nano-mistral")
tokenizer = AutoTokenizer.from_pretrained("crumb/nano-mistral")

inputs = tokenizer(["Once upon a time,"], return_tensors="pt")
inputs = {k:v.to(model.device) for k,v in dict(inputs).items()}
outputs = model.generate(inputs, max_new_tokens=128, temperature=0.7, top_k=20, do_sample=True)
outputs = tokenizer.batch_decode(outputs)
for i in outputs:
  print(i)

📚 ドキュメント

モデル詳細

モデル概要

これは🤗 transformersモデルのモデルカードで、自動生成されています。

用途

一般的なウェブテキストの生成に使用できます。

適用範囲外の用途

インストラクションモデルではないため、特定の指示に基づく応答生成には適していません。

バイアス、リスク、制限事項

ウェブテキストを学習データとして使用しているため、有害な内容が含まれる可能性があります。

🔧 技術詳細

学習データ

crumb/askmistral-pile-2-15

学習手順

前処理

[詳細情報が必要]

学習ハイパーパラメータ

• 学習方式: bf16 non-mixed precision

速度、サイズ、時間

• train_runtime: 62541.9424
• train_samples_per_second: 26.557

[詳細情報が必要]

評価

テストデータ、要因、メトリクス

テストデータ

crumb/askmistral-pile-2-15のホールドアウトセット

要因

[詳細情報が必要]

メトリクス

OpenLLM Leaderboardの評価データセットと設定を使用しています。

結果

OpenLLM Leaderboardの平均スコア + 標準誤差: (29.30, 0.42)

MMLU

値, 標準誤差 = (0.253980701754386, 0.004428598058450528)

概要

[詳細情報が必要]

モデル検証

[詳細情報が必要]

環境への影響

炭素排出量はLacoste et al. (2019)で提示されたMachine Learning Impact calculatorを使用して推定できます。

• ハードウェアタイプ: A6000
• 使用時間: 34.74時間
• クラウドプロバイダー: n/a
• コンピュートリージョン: iowa
• 排出された炭素量: 4.5kg CO2eq.

技術仕様

モデルアーキテクチャと目的

Mistralアーキテクチャを用いた因果言語モデル

コンピュートインフラストラクチャ

ハードウェア

lambda vector 2xA6000

ソフトウェア

huggingface transformers / pytorch / カスタムトレーナー

📄 ライセンス

このモデルはApache 2.0ライセンスの下で提供されています。