Llama 1B Dj Refine 150B

🚀 Data-Juicerの参照LLM

このプロジェクトは、Data-Juicerに基づく参照用の大規模言語モデル（LLM）です。Data-Juicerの精製データを活用し、高い性能を発揮します。

🚀 クイックスタート

最新情報

初のデータ中心のLLMコンペティションが始まりました！詳細は、コンペティションの公式サイト FT-Data Ranker (1B Track, 7B Track) をご覧ください。

概要

このモデルは Data-Juicer からの参照LLMです。

モデルアーキテクチャはLLaMA-1.3Bで、OpenLLaMA の実装を採用しています。このモデルは、Data-Juicerで精製されたRedPajamaとPileの1500億トークンで事前学習されています。

16のHELMタスクで平均34.21点を達成し、Falcon-1.3B（RefinedWebの3500億トークンで学習）、Pythia-1.4B（オリジナルのPileの3000億トークンで学習）、Open-LLaMA-1.3B（オリジナルのRedPajamaとPileの1500億トークンで学習）を上回っています。

詳細については、論文 を参照してください。

📦 データセット

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で提供されています。