K2

🚀 K2: Llama 2 70Bを35％少ない計算量で上回る完全再現可能な大規模言語モデル

LLM360は、K2を用いてLlama 2 70Bのトレーニング手法を解明します。K2は完全に透明であり、コード、データ、モデルチェックポイント、中間結果など、すべての成果物をオープンソース化しています。

✨ 主な機能

K2について

• パラメータ数: 650億
• トークン数: 1.4T
• 対応言語: 英語
• 公開モデル: ベースモデル、チャットモデル
• トレーニング段階: 2段階
• ライセンス: Apache 2.0

K2は、MBZUAI、Petuum、LLM360の共同開発によるものです。

LLM360モデルの性能評価コレクション

LLM360の性能評価コレクションは、一般的な評価とドメイン固有の評価から構成される堅牢な評価セットで、モデルの知識と機能を評価します。

評価には、標準的なベンチマーク、医学、数学、コーディング知識などが含まれます。詳細はこちらをご覧ください。

詳細な分析は、K2のWeights and Biasesプロジェクトこちらで確認できます。

オープンLLMリーダーボード

K2ギャラリー

K2ギャラリーでは、K2の中間チェックポイントにおける様々なプロンプトの出力を閲覧でき、モデルがどのように発展し改善されるかを直感的に理解できます。これはThe Bloom Bookにインスパイアされたものです。

K2ギャラリーを見る

データセットとミックス

K2のトレーニングには、以下のデータミックスが使用され、Llama 2 70Bと同等の結果が得られています。

データの全シーケンスはこちらで確認できます。

LLM360研究セット

第2段階 - 最後の10個のチェックポイント

第1段階 - 最後の10個のチェックポイント

[すべてのブランチを見るには: git branch -a]

LLM360事前学習セット

技術愛好家、AI実践者、学術や産業界の研究者など、事前学習技術を学びたい方に向けて、ステップバイステップの再現チュートリアルをこちらで提供しています。

LLM360開発者セット

技術愛好家、AI実践者、学術や産業界の研究者に向けて、ステップバイステップの微調整チュートリアルをこちらで提供しています。

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("LLM360/K2")
model = AutoModelForCausalLM.from_pretrained("LLM360/K2")

prompt = 'what is the highest mountain on earth?'

input_ids = tokenizer(prompt, return_tensors="pt").input_ids
gen_tokens = model.generate(input_ids, do_sample=True, max_new_tokens=128)

print("-"*20 + "Output for model"  + 20 * '-')
print(tokenizer.batch_decode(gen_tokens)[0])

📚 詳細ドキュメント

LLM360について

LLM360は、オープンソースの大規模モデルの研究開発を通じて、コミュニティが所有するAGIを実現するオープンな研究ラボです。

LLM360は、標準とツールを作成することで、LLMの能力の最先端を進め、知識の伝達、研究、開発を促進し、コミュニティが所有するAGIを実現します。

私たちは、人工一般知能（AGI）がコミュニティによって創造され、コミュニティのために創造される未来を信じています。公平な計算資源、高品質なデータ、流動的な技術知識のオープンなエコシステムを通じて、倫理的なAGIの開発とすべての革新者への普遍的なアクセスを保証することができます。

こちらをクリックして訪問

引用

BibTeX:

@article{K2,
      title={LLM360 K2-65B: Scaling Up Fully Transparent Open-Source LLMs}, 
      author={
      Zhengzhong Liu and Bowen Tan
      and Hongyi Wang and Willie Neiswanger and Tianhua Tao
      and Haonan Li and Fajri Koto and Yuqi Wang and Suqi Sun
      and Omkar Pangarkar and Richard Fan and Yi Gu and Victor Miller
      and Liqun Ma and Liping Tang and Nikhil Ranjan and Yonghao Zhuang
      and Guowei He and Renxi Wang and Mingkai Deng and Robin Algayres 
      and Yuanzhi Li and Zhiqiang Shen and Preslav Nakov
      and Eric Xing      
      },
      year={2024},
}

📄 ライセンス

このプロジェクトはApache 2.0ライセンスの下で公開されています。