Collectivecognition V1.1 Mistral 7B

🚀 コレクティブコグニション v1.1 - ミストラル 7B

Collective Cognition v1.1は、Mistralアプローチを用いてファインチューニングされた最先端のモデルです。TruthfulQAベンチマークで多くの70Bモデルを上回る性能を発揮します。

📚 モデルの説明

Collective Cognition v1.1は、Mistralアプローチを用いてファインチューニングされた最先端のモデルです。このモデルは、TruthfulQAベンチマークで多くの70Bモデルを上回る性能を発揮しています。このベンチマークは、一般的な誤解に関するモデルの評価を行い、幻覚率を示す可能性があります。

✨ 主な機能

• 高速トレーニング：このモデルは、単一の4090でqloraを使用してわずか3分でトレーニングされ、TruthfulQAで70B規模のLlama - 2モデルと競争できます。
• 限定データ：例外的な性能にもかかわらず、ShareGPTに似たプラットフォームから収集されたわずか100のデータポイントでトレーニングされました。
• 極限のTruthfulQAベンチマーク：小さなデータセットとqloraトレーニングでありながら、このモデルはTruthfulQAベンチマークでトップの70Bモデルと強く競争しています！

🙏 謝辞

このモデルの開発を可能にした@a16zとCollective Cognitionデータセットのすべての貢献者に特別な感謝を申し上げます。

📦 データセット

このモデルは、Collective Cognitionのウェブサイトからのデータを使用してトレーニングされました。このデータセットの有効性は、モデルの卓越した性能によって実証されており、このデータセットをさらに拡張することで、さらに有望な結果が得られる可能性があります。データはShareGPTのようなプラットフォームから収集されたものに似ています。

あなたは、こちらで自分のChatGPTチャットを共有することで、データセットの拡充に貢献することができます。

Collective Cognitionによって作成されたデータセットはこちらからダウンロードできます: https://huggingface.co/CollectiveCognition

📈 性能

• TruthfulQA：Collective Cognition v1.1は、TruthfulQAベンチマークで様々な70Bモデルを上回っており、一般的な誤解を理解して修正する能力を際立たせています。

💻 使用例

基本的な使用法

USER: <prompt>
ASSISTANT:

高度な使用法

<system message>
USER: <prompt>
ASSISTANT:

📊 ベンチマーク

Collective Cognition v1.0 TruthfulQA

|    Task     |Version|Metric|Value |   |Stderr|
|-------------|------:|------|-----:|---|-----:|
|truthfulqa_mc|      1|mc1   |0.4051|±  |0.0172|
|             |       |mc2   |0.5738|±  |0.0157|

Collective Cognition v1.1 GPT4All

|    Task     |Version| Metric |Value |   |Stderr|
|-------------|------:|--------|-----:|---|-----:|
|arc_challenge|      0|acc     |0.5085|±  |0.0146|
|             |       |acc_norm|0.5384|±  |0.0146|
|arc_easy     |      0|acc     |0.7963|±  |0.0083|
|             |       |acc_norm|0.7668|±  |0.0087|
|boolq        |      1|acc     |0.8495|±  |0.0063|
|hellaswag    |      0|acc     |0.6399|±  |0.0048|
|             |       |acc_norm|0.8247|±  |0.0038|
|openbookqa   |      0|acc     |0.3240|±  |0.0210|
|             |       |acc_norm|0.4540|±  |0.0223|
|piqa         |      0|acc     |0.7992|±  |0.0093|
|             |       |acc_norm|0.8107|±  |0.0091|
|winogrande   |      0|acc     |0.7348|±  |0.0124|
Average: 71.13

AGIEval

|             Task             |Version| Metric |Value |   |Stderr|
|------------------------------|------:|--------|-----:|---|-----:|
|agieval_aqua_rat              |      0|acc     |0.1929|±  |0.0248|
|                              |       |acc_norm|0.2008|±  |0.0252|
|agieval_logiqa_en             |      0|acc     |0.3134|±  |0.0182|
|                              |       |acc_norm|0.3333|±  |0.0185|
|agieval_lsat_ar               |      0|acc     |0.2217|±  |0.0275|
|                              |       |acc_norm|0.2043|±  |0.0266|
|agieval_lsat_lr               |      0|acc     |0.3412|±  |0.0210|
|                              |       |acc_norm|0.3216|±  |0.0207|
|agieval_lsat_rc               |      0|acc     |0.4721|±  |0.0305|
|                              |       |acc_norm|0.4201|±  |0.0301|
|agieval_sat_en                |      0|acc     |0.6068|±  |0.0341|
|                              |       |acc_norm|0.5777|±  |0.0345|
|agieval_sat_en_without_passage|      0|acc     |0.3932|±  |0.0341|
|                              |       |acc_norm|0.3641|±  |0.0336|
|agieval_sat_math              |      0|acc     |0.2864|±  |0.0305|
|                              |       |acc_norm|0.2636|±  |0.0298|
Average: 33.57

トレーニングの実行はこちらのwandbで確認できます: https://wandb.ai/teknium1/collectivecognition-mistral-7b/runs/collectivecognition-mistral-8/workspace

📄 ライセンス

Apache 2.0