Arsh Llm

🚀 Arsh LLM

Arsh LLMは、研究に役立つように開発された最新のプロジェクトです。このバージョンは、T4 GPUを使用してolmo mixデータセットで事前学習されています（このプロセスには約4 - 5日かかり、制限があったため、8つの部分に分割して、1日または2日でそれぞれを行いまし）。

🚀 クイックスタート

Arsh LLMは研究に役立つように開発された最新のプロジェクトです。このバージョンは特定のデータセットで事前学習されており、研究用途に利用できます。

✨ 主な機能

• 研究に役立つように開発されたLLMです。
• 特定のデータセットで事前学習されています。
• モデルの開発には、Gpt neoxやllamaのドキュメント、AIを活用した最適化が行われています。

📦 インストール

ドキュメントに具体的なインストール手順が記載されていないため、このセクションを省略します。

💻 使用例

ドキュメントにコード例が記載されていないため、このセクションを省略します。

📚 ドキュメント

モデルの詳細

モデルの説明

Arsh LLMは私の最新の研究プロジェクトです。もっと学習が必要で、これはまだ最初のバージョンの1つに過ぎません。私の目標は、大規模なモデルが大規模なハードウェアを必要としないことを準備し、証明することです。少なくとも、これらのすべてのツールを使ってすべてを非常に高速にすることができます！ まず、Gpt neoxとllamaのドキュメントとAIを使ってアーキテクチャを作成し、最適化を行いました（完了したかどうかは不確定です）。 次に、モデルを作成し、phi - 4を使って初期の重みを計算しました。そして、PILEデータセットの一部で学習を行い、モデルを安定させました！ 次に、olmo - mix - 1124データセットを使ってarshGptという名前のモデルを学習させました。私の目標は、データを新しい大規模モデルにより簡単に変換することでした。 これは、いくつかの小規模な会話型のオープンソースデータセットを使って微調整されたマージモデルで、性能は以前よりも良くなったと思います。

🔧 技術詳細

ドキュメントに十分な技術的詳細が記載されていないため、このセクションを省略します。

📄 ライセンス

このモデルにはMITライセンスを選択しました。自由を感じることができる最高のライセンスです😅！