Puma 3B

🚀 Puma-3B

このモデルは、OpenLLaMA 3B V2 を ShareGPT Hyperfiltered で1エポックファインチューニングしたものです。主にテキスト生成タスクに使用されます。

🚀 クイックスタート

このモデルは、以下のプロンプトテンプレートを使用します。

### HUMAN:
{prompt}

### RESPONSE:
<モデルが回答するための改行を残す>

GGML形式の量子化モデルは こちら で、GPTQ形式の量子化モデルは こちら で入手できます。

⚠️ 重要提示

このモデルは私がファインチューニングの学習段階で作成したものです。高い性能を期待しないでください。批判は控えていただけると幸いです。

📚 ドキュメント

モデル情報

Open LLM Leaderboard評価結果

詳細な結果は こちら で確認できます。

モデルインデックス

• 名前: Puma-3B
  • 結果:
    • タスク:
      • タイプ: テキスト生成
      • 名前: テキスト生成
    • データセット:
      • 名前: AI2 Reasoning Challenge (25-Shot)
      • タイプ: ai2_arc
      • 設定: ARC-Challenge
      • 分割: テスト
      • 引数:
        • ショット数: 25
    • 評価指標:
      • タイプ: acc_norm
      • 値: 41.3
      • 名前: 正規化精度
    • ソース:
      • URL: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=acrastt/Puma-3B
      • 名前: Open LLM Leaderboard
    • タスク:
      • タイプ: テキスト生成
      • 名前: テキスト生成
    • データセット:
      • 名前: HellaSwag (10-Shot)
      • タイプ: hellaswag
      • 分割: 検証
      • 引数:
        • ショット数: 10
    • 評価指標:
      • タイプ: acc_norm
      • 値: 71.85
      • 名前: 正規化精度
    • ソース:
      • URL: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=acrastt/Puma-3B
      • 名前: Open LLM Leaderboard
    • タスク:
      • タイプ: テキスト生成
      • 名前: テキスト生成
    • データセット:
      • 名前: MMLU (5-Shot)
      • タイプ: cais/mmlu
      • 設定: all
      • 分割: テスト
      • 引数:
        • ショット数: 5
    • 評価指標:
      • タイプ: acc
      • 値: 27.51
      • 名前: 精度
    • ソース:
      • URL: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=acrastt/Puma-3B
      • 名前: Open LLM Leaderboard
    • タスク:
      • タイプ: テキスト生成
      • 名前: テキスト生成
    • データセット:
      • 名前: TruthfulQA (0-shot)
      • タイプ: truthful_qa
      • 設定: multiple_choice
      • 分割: 検証
      • 引数:
        • ショット数: 0
    • 評価指標:
      • タイプ: mc2
      • 値: 38.34
    • ソース:
      • URL: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=acrastt/Puma-3B
      • 名前: Open LLM Leaderboard
    • タスク:
      • タイプ: テキスト生成
      • 名前: テキスト生成
    • データセット:
      • 名前: Winogrande (5-shot)
      • タイプ: winogrande
      • 設定: winogrande_xl
      • 分割: 検証
      • 引数:
        • ショット数: 5
    • 評価指標:
      • タイプ: acc
      • 値: 66.38
      • 名前: 精度
    • ソース:
      • URL: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=acrastt/Puma-3B
      • 名前: Open LLM Leaderboard
    • タスク:
      • タイプ: テキスト生成
      • 名前: テキスト生成
    • データセット:
      • 名前: GSM8k (5-shot)
      • タイプ: gsm8k
      • 設定: main
      • 分割: テスト
      • 引数:
        • ショット数: 5
    • 評価指標:
      • タイプ: acc
      • 値: 0.76
      • 名前: 精度
    • ソース:
      • URL: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=acrastt/Puma-3B
      • 名前: Open LLM Leaderboard

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。