Orthogonal 2x7B V2 Base

🚀 orthogonal-2x7B-v2-base

orthogonal-2x7B-v2-base是一個基於特定模型架構的文本生成模型，在多個文本生成任務的數據集上進行了評估，並在Open LLM Leaderboard上展示了其性能。

📚 詳細文檔

模型信息

專家模型信息

評估結果

詳細任務評估

• AI2 Reasoning Challenge (25-Shot)

  • 任務類型：文本生成
  • 數據集類型：ai2_arc
  • 數據集配置：ARC-Challenge
  • 數據集分割：測試集
  • 少樣本數量：25
  • 評估指標：歸一化準確率（acc_norm），值為 66.89
  • 來源：Open LLM Leaderboard

• HellaSwag (10-Shot)

  • 任務類型：文本生成
  • 數據集類型：hellaswag
  • 數據集分割：驗證集
  • 少樣本數量：10
  • 評估指標：歸一化準確率（acc_norm），值為 85.69
  • 來源：Open LLM Leaderboard

• MMLU (5-Shot)

  • 任務類型：文本生成
  • 數據集類型：cais/mmlu
  • 數據集配置：all
  • 數據集分割：測試集
  • 少樣本數量：5
  • 評估指標：準確率（acc），值為 62.65
  • 來源：Open LLM Leaderboard

• TruthfulQA (0-shot)

  • 任務類型：文本生成
  • 數據集類型：truthful_qa
  • 數據集配置：multiple_choice
  • 數據集分割：驗證集
  • 少樣本數量：0
  • 評估指標：mc2，值為 66.8
  • 來源：Open LLM Leaderboard

• Winogrande (5-shot)

  • 任務類型：文本生成
  • 數據集類型：winogrande
  • 數據集配置：winogrande_xl
  • 數據集分割：驗證集
  • 少樣本數量：5
  • 評估指標：準確率（acc），值為 77.35
  • 來源：Open LLM Leaderboard

• GSM8k (5-shot)

  • 任務類型：文本生成
  • 數據集類型：gsm8k
  • 數據集配置：main
  • 數據集分割：測試集
  • 少樣本數量：5
  • 評估指標：準確率（acc），值為 51.4
  • 來源：Open LLM Leaderboard

綜合評估指標

更多詳細結果

詳細結果可查看 此處。