Orthogonal 2x7B V2 Base

🚀 orthogonal-2x7B-v2-base

orthogonal-2x7B-v2-base是一个基于特定模型架构的文本生成模型，在多个文本生成任务的数据集上进行了评估，并在Open LLM Leaderboard上展示了其性能。

📚 详细文档

模型信息

专家模型信息

评估结果

详细任务评估

• AI2 Reasoning Challenge (25-Shot)

  • 任务类型：文本生成
  • 数据集类型：ai2_arc
  • 数据集配置：ARC-Challenge
  • 数据集分割：测试集
  • 少样本数量：25
  • 评估指标：归一化准确率（acc_norm），值为 66.89
  • 来源：Open LLM Leaderboard

• HellaSwag (10-Shot)

  • 任务类型：文本生成
  • 数据集类型：hellaswag
  • 数据集分割：验证集
  • 少样本数量：10
  • 评估指标：归一化准确率（acc_norm），值为 85.69
  • 来源：Open LLM Leaderboard

• MMLU (5-Shot)

  • 任务类型：文本生成
  • 数据集类型：cais/mmlu
  • 数据集配置：all
  • 数据集分割：测试集
  • 少样本数量：5
  • 评估指标：准确率（acc），值为 62.65
  • 来源：Open LLM Leaderboard

• TruthfulQA (0-shot)

  • 任务类型：文本生成
  • 数据集类型：truthful_qa
  • 数据集配置：multiple_choice
  • 数据集分割：验证集
  • 少样本数量：0
  • 评估指标：mc2，值为 66.8
  • 来源：Open LLM Leaderboard

• Winogrande (5-shot)

  • 任务类型：文本生成
  • 数据集类型：winogrande
  • 数据集配置：winogrande_xl
  • 数据集分割：验证集
  • 少样本数量：5
  • 评估指标：准确率（acc），值为 77.35
  • 来源：Open LLM Leaderboard

• GSM8k (5-shot)

  • 任务类型：文本生成
  • 数据集类型：gsm8k
  • 数据集配置：main
  • 数据集分割：测试集
  • 少样本数量：5
  • 评估指标：准确率（acc），值为 51.4
  • 来源：Open LLM Leaderboard

综合评估指标

更多详细结果

详细结果可查看 此处。