# オープンソースLLM

世界初の60億パラメータのLlama-3ベースモデル、Meta-Llama-3-8Bからダウングレード循環技術で作成され、10億の英語テキストトークンで継続事前学習を実施

Meta-Llama-3-8Bからダウングレード循環技術で派生した、世界初の6BパラメータLlama-3ベースモデルの未訓練バージョン

OpenELMは、階層的パラメータ割り当て戦略を用いてモデル精度を向上させるオープンソースの効率的な言語モデルのセットで、2.7億から30億パラメータのプリトレーニングおよび指示チューニングバージョンを含みます。

LlammasはLlama-2-7Bモデルをエストニア語に適応させたオープンソース対話モデルで、2段階のトレーニングによりクロスランゲージ知識転移を実現

AgentLM-70Bは、Llama-2-chatモデルをAgentInstructデータセットとShareGPTデータセットの混合トレーニングによって得られた大規模言語モデルで、エージェント能力と汎用言語能力の強化に焦点を当てています。

EM GermanはMistral/LeoLMを基にしたドイツ語大規模言語モデルファミリーで、ドイツ語命令データに対して微調整されており、ドイツ語テキストの理解と生成に優れています。

MathCoderシリーズのオープンソース大規模言語モデル。汎用数学問題解決のために設計され、Llama-2をファインチューニング

KoLlama2はオープンソースプロジェクトで、英語ベースの大規模言語モデルLlama2の韓国語性能を向上させ、韓国語ユーザーにより質の高い言語対話体験をもたらすことを目的としています。

OpenChatは一連のオープンソース言語モデルで、多様で高品質な多輪対話データセットで微調整され、限られたデータで高性能を実現することを目的としています。