35b Beta Long

🚀 35b-beta-long

このリリースであるCausalLM/35b-beta-longは、大規模言語モデルの微調整における当社の経験と蓄積された学習データの集大成です。オープンソースコミュニティの発展を促進するために、これらの重みをオープンソース化しています。

当社は、Cohereの多言語対応で350億パラメータの長文脈対応の[CohereForAI/c4ai-command-r-v01] MHAモデルをベースとして選択しました。評価の結果、このモデルは教師あり微調整（SFT）プロセス全体で学習データの品質に最も反応し、他のオープンソースの大規模言語モデルを上回りました。初期のSFT/RLは特定のタスクに焦点を当てており、非商用ライセンスが付いていますが、現在のところ個人や内部での使用に最適な基盤だと考えています。

ウェブクロールから得た膨大な事実ベースのコンテンツを利用して、複数のウェブページやドキュメントに基づく3000万件以上の複数ターンの対話データを合成しました。このプロセスには多大な人的監督と高品質を保証するためのデータパイプラインが必要でした。その後、このデータを128Kの完全なコンテキストでBF16精度を使用してモデルを学習させました。また、一般的な会話の流暢性を向上させるために、広く使用されているオープンソースの対話データセットも組み込みました。

当社のデータ合成アプローチは、典型的な大規模言語モデルの学習コーパスにおける重要な制限を解消しました。大規模言語モデルは、段落やドキュメントレベルでのテーマの要約、重要情報の抽出、または比較が苦手なことが多いです。そのため、長文脈の設定で複数のドキュメントを使用して事実ベースのデータを生成することに焦点を当てました。これには、人間のガイダンスを伴う既存の最先端の大規模言語モデルを活用して、テーマの要約、情報の抽出、およびソース材料の比較を通じて情報を合成することが含まれました。

このアプローチは、微調整中のモデルの性能を大幅に向上させました。幻覚の減少、長文脈能力の強化、および数学、コーディング、知識の回想などの一般的な能力の向上が見られました。学習プロセスには、元のソース材料と合成された出力の両方が組み込まれ、事前学習データに埋め込まれた抽象概念を回想して利用するモデルの能力がさらに強化されました。分析の結果、元のデータと合成データの組み合わせが、よりバランスの取れた性能プロファイルを達成するために重要であることが明らかになりました。中間チェックポイントと合成データのみで学習されたモデルも、研究目的で公開されています。

元のタスク固有のモデルと比較すると、当社のさらに微調整されたモデルは、特定のドキュメント形式やプロンプトエンジニアリングを必要とせずに、長文脈シナリオでより堅牢な回想能力を示します。この微調整されたモデルは、定量化可能なベンチマークでは2倍のサイズのモデルと同等の性能を示します。

このモデルは教師あり微調整（SFT）のみを経ているため、まだバイアスがあったり、望ましくないコンテンツを生成することがあります。違法活動、不適切なコンテンツ、および暴力に関連する出力を軽減するために、オープンソースの拒否データセットを使用して基本的なセーフティ対策を実装しました。ただし、人間の価値との強固なアライメントを実現するには、さらなる強化学習が必要です。

📄 ライセンス

このモデルはWTFPL（Do What The Fuck You Want To Public License）の下で公開されています。

📚 ドキュメント

注意事項

トークナイザーはCohereとは異なり、チャットテンプレートはChatMLです。

圧力テストの情報はこちらから：https://github.com/LeonEricsson/llmcontext

使用データセット