Galactica 6.7B EssayWriter

🚀 Galactica-6.7B-EssayWriter

Galactica-6.7B-EssayWriterは、テキスト生成タスクに特化したモデルで、様々なデータセットで評価されています。

🚀 クイックスタート

このモデルは、テキスト生成タスクに使用できます。以下はプロンプトの例です。

### Instruction: 
Provide the inputted essay that when summarized resulted in the following summary : The organization's learning and development practices are poor as they involve manual orientation from experienced workers. New employees are not advised of their roles in the organization before assignment of tasks. The orientation process takes long due to lack of a well-coordinated orientation programs.
### Response:

📚 ドキュメント

評価結果

Open LLM Leaderboardでの詳細な評価結果はこちらから確認できます。

モデルの詳細

各タスクの評価結果

• タスクタイプ: テキスト生成
  • データセット1: AI2 Reasoning Challenge (25-Shot)
    • データセットタイプ: ai2_arc
    • 設定: ARC-Challenge
    • 分割: test
    • メトリクス: 正規化精度 40.1
    • ソース: Open LLM Leaderboard
  • データセット2: HellaSwag (10-Shot)
    • データセットタイプ: hellaswag
    • 分割: validation
    • メトリクス: 正規化精度 50.29
    • ソース: Open LLM Leaderboard
  • データセット3: MMLU (5-Shot)
    • データセットタイプ: cais/mmlu
    • 設定: all
    • 分割: test
    • メトリクス: 精度 33.88
    • ソース: Open LLM Leaderboard
  • データセット4: TruthfulQA (0-shot)
    • データセットタイプ: truthful_qa
    • 設定: multiple_choice
    • 分割: validation
    • メトリクス: mc2 40.27
    • ソース: Open LLM Leaderboard
  • データセット5: Winogrande (5-shot)
    • データセットタイプ: winogrande
    • 設定: winogrande_xl
    • 分割: validation
    • メトリクス: 精度 58.48
    • ソース: Open LLM Leaderboard
  • データセット6: GSM8k (5-shot)
    • データセットタイプ: gsm8k
    • 設定: main
    • 分割: test
    • メトリクス: 精度 3.49
    • ソース: Open LLM Leaderboard

📄 ライセンス

このモデルはCC BY-NC 4.0ライセンスの下で提供されています。