Spyazweb AI DeepMind Project

🚀 Mixtral_AI_CyberTron_DeepMind_III_UFT

このプロジェクトは、最先端のテキスト生成モデルを開発しており、様々なタスクで高い性能を発揮します。独自の手法を用いてモデルに機能を追加し、自己学習や最適化を可能にしています。

🚀 クイックスタート

このモデルは、多くのデータセットを使用してトレーニングされており、様々なタスクに対応しています。以下のようなことが可能です。

• 複雑な質問に対する自己検討と回答生成
• 小さなタスクを実行するミニエージェントの生成
• 思考や反射、センスを持った回答の生成
• コーディングや医療情報に関するタスクの実行

✨ 主な機能

• SelfRAG：独自の情報検索機能を持ち、関連情報を効率的に収集します。
• エージェント生成：小さなタスクを実行するミニエージェントを生成します。
• 思考連鎖：複雑な問題を段階的に解決するための思考連鎖を形成します。
• 深い思考と記憶想起：深い思考を行い、過去の情報を想起して回答を生成します。

📦 インストール

このモデルは、Unsloth と Huggingface の TRL ライブラリを使用して 2 倍速でトレーニングされています。

📚 ドキュメント

モデル情報

評価結果

Open LLM Leaderboard での評価結果は以下の通りです。

手法

多くの機能をデータセットや複雑なデータ構造、プロンプトを通じて追加しました。トレーニング後にはプロンプトを削除し、標準的な Alpaca トレーニングを行います。モデル内の埋め込み層の LoRA 設定を変更し、以前のトレーニングの上で微調整することが重要です。

🔧 技術詳細

トレーニングプロンプトバージョン

このバージョンは非常に良好に動作しています。複雑な質問に対して自己検討を行い、ミニエージェントを生成して小さなタスクを実行します。また、思考やセンスを持った回答を生成し、人格を持ったパーソナルアシスタントとして機能します。

パラメータ設定

• topK：1000
• topP：0.68
• 温度：1

これにより、回答に適度なランダム性を持たせ、同じ質問に対して異なる回答を生成することができます。

📄 ライセンス

このモデルは Apache - 2.0 ライセンスの下で提供されています。