42dot LLM SFT 1.3B

🚀 42dot_LLM-SFT-1.3B

42dot LLM-SFT は、自然言語の指示に従うように学習された大規模言語モデル（LLM）で、42dot によって開発されました。42dot LLM-SFT は 42dot LLM の一部で、42dot LLM-PLM から教師あり微調整（SFT）によって派生しています。このリポジトリには、パラメータ数が 13 億のバージョンが含まれています。

📚 ドキュメント

ハイパーパラメータ

42dot LLM-PLM と同様に、このモデルは LLaMA 2 と類似したトランスフォーマーデコーダアーキテクチャに基づいて構築されており、そのハイパーパラメータは以下の通りです。

(* 単位: トークン)

教師あり微調整

微調整には、NVIDIA A100 で約 112 GPU時間がかかりました。学習データセットとして、（質問または指示）と応答のペアを手動で構築しました。これらは、シングルターンまたはマルチターンのいずれかです。

評価

Vicuna のような最近の試みにインスパイアされ、42dot LLM-SFT を他の独自/オープンソースのチャットボットとともに、GPT-4 を使用して応答の様々な側面を評価しました。評価データセットは、10 カテゴリにわたる 121 のプロンプトで構成されています。評価データセットのサンプルとプロンプトテンプレートは、私たちの GitHub リポジトリ からダウンロードできます。

• ベースライン:
  • ChatGPT（GPT-3.5-turbo および GPT-4 使用）
  • Bard
  • KORani-v2-13B

🔧 技術詳細

42dot LLM-SFT は、他の LLM と同様に多くの既知の制限があります。たとえば、42dot LLM-SFT も ホールミネーション の影響を受けるため、誤った情報や誤解を招く内容を生成する可能性があります。また、事前学習フェーズでウェブ上で入手可能な学習データを使用しているため、有害な、有毒な、偏った内容を生成する可能性があります。42dot LLM-SFT のユーザーは、これらの制限を認識し、必要な対策を講じることを強くおすすめします。

免責事項

42dot LLM シリーズ（「42dot LLM」）によって生成される内容は、必ずしも 42dot Inc.（「42dot」）の見解や意見を反映しているとは限りません。42dot は、42dot LLM およびその生成内容の使用に起因する直接的、間接的、暗示的、懲罰的、特別な、偶発的、またはその他の結果的損害について、いかなる責任も負いません。

📄 ライセンス

42dot LLM-SFT は、クリエイティブ・コモンズ 表示 - 非営利 4.0（CC BY-NC 4.0）ライセンスの下で提供されています。

引用

@misc{42dot2023llm,
      title={42dot LLM: A Series of Large Language Model by 42dot},
      author={42dot Inc.},
      year={2023},
      url = {https://github.com/42dot/42dot_LLM},
      version = {1.0.0},
}