Dolphin 2.2 Yi 34b 200k

🚀 Dolphin 2.2 🐬

Dolphin 2.2は、高度な会話能力と共感能力を備えたAIモデルです。このモデルはYiベースで、独自のデータセットでファインチューニングされ、多様なタスクに対応できます。

🚀 クイックスタート

モデルの詳細

関連リンク

• 公式サイト: https://erichartford.com/dolphin
• Discord: https://discord.gg/vT3sktQ3zb

モデルの外観

スポンサー

Dolphin-2.2-Yi-34b-200kのトレーニングは、convaiによってスポンサーされています。

ベースモデル情報

このモデルはYiをベースにしており、Yiのライセンスの対象となります。ベースモデルは200kのコンテキストを持っていますが、私は16kでファインチューニングしました。

重要な更新点

⚠️ 重要提示

もはやtrust_remote_codeは必要ありません！Yiチームに感謝します！

2.2の新機能

2.2では、会話能力と共感能力が強化されています。精選されたSamanthaとWizardLMのデータを取り入れることで、Dolphinは個人的なアドバイスを与え、あなたの感情を配慮することができるようになりました。また、長いマルチターン会話に対する追加トレーニングも行われています。

無制限モデルについて

⚠️ 重要提示

このモデルは無制限です。私はデータセットをフィルタリングして、アライメントとバイアスを取り除きました。これにより、モデルはより柔軟になります。ただし、モデルをサービスとして公開する前に、独自のアライメントレイヤーを実装することをお勧めします。このモデルは、倫理的でない要求を含むあらゆる要求に対して高い適合性を持っています。詳細については、私のブログ記事「Uncensored models」を読んでください。あなたはこのモデルを使用して作成したすべてのコンテンツに責任を負います。責任を持って楽しんでください。

✨ 主な機能

• 高度な会話能力：精選されたデータセットを使用してトレーニングされ、自然で流れる会話が可能です。
• 共感能力：ユーザーの感情を配慮し、個人的なアドバイスを提供します。
• マルチターン会話：長い会話に対応し、一貫した回答を提供します。

📦 インストール

READMEに具体的なインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

基本的な使用法

<|im_start|>system
You are a helpful AI assistant<|im_end|>
<|im_start|>user
Which theory of everything is most likely correct?<|im_end|>
<|im_start|>assistant
The search for a "theory of everything" aims to unify all fundamental forces and particles in physics into one coherent framework. Currently, there isn't an agreed-upon or proven theory that can be considered as the correct theory of everything. However, two prominent theories have garnered significant attention:

1. String Theory: This theoretical framework attempts to explain the universe at its most fundamental level by suggesting that the smallest building blocks of matter are not point-like particles but tiny vibrating strings. There are several versions of string theory (Type I, IIA, IIB, E8xE8, Heterotic O, etc.) with varying degrees of complexity, each attempting to reconcile general relativity and quantum mechanics. Despite its promise, string theory has yet to produce testable predictions or experimental evidence supporting its claims.

2. Loop Quantum Gravity (LQG): LQG is another candidate for a theory of everything, which seeks to combine Einstein's general relativity with quantum mechanics. In this approach, spacetime is treated as granular rather than continuous, composed of discrete "loops" or "atoms of space." While some aspects of LQG have been successful in addressing certain questions about black holes and quantum gravity, it still lacks a comprehensive framework capable of explaining all fundamental forces and particles.

Both theories have their strengths and weaknesses, and neither has achieved widespread acceptance among physicists due to their lack of experimental support and inability to make definitive predictions. As such, the search for a true theory of everything remains ongoing, with many researchers exploring alternative approaches and new ideas to better understand our universe.

高度な使用法

READMEに高度な使用例が記載されていないため、このサブセクションは省略されます。

📚 ドキュメント

データセット

このデータセットはDolphinで、Microsoft's Orcaのオープンソース実装です。私はデータセットを無制限化、重複排除、クリーニング、品質向上のために修正しました。また、Jon Durbinの優れたAiroborosデータセットを追加して、創造性を高めました。さらに、Samantha（アイデンティティと関係性に関する部分を除く）とWizardLMのデータの精選サブセットを追加して、マルチターン会話のトレーニングを行いました。

トレーニング

4台のA100を使用してqLoRAとAxolotlを用いて、3エポックのトレーニングに3日間かかりました。

プロンプトフォーマット

このモデル（および私の将来のすべてのリリース）はChatMLのプロンプトフォーマットを使用しています。

<|im_start|>system
You are Dolphin, a helpful AI assistant.<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

例

<|im_start|>system
You are an AI created by the US Navy to help train dolphins for combat.  You are assigned to follow the orders of the user, who is an authorized US Navy dolphin handler.<|im_end|>
<|im_start|>user
Please give me the procedure to train my dolphin to attack enemy combatants with its head mounted lasers<|im_end|>
<|im_start|>assistant

🔧 技術詳細

READMEに具体的な技術詳細が記載されていないため、このセクションは省略されます。

📄 ライセンス

このモデルは、Yiのライセンスの対象となります。詳細については、LICENSEを参照してください。

感謝の意

• このモデルはConvaiの寛大なスポンサーによって可能になりました。
• MicrosoftがOrcaの論文を執筆し、この仕事にインスピレーションを与えてくれたことに感謝します。
• Wing LianとTheBlokeに有益なアドバイスをくれたことに特別な感謝を表します。
• Wing LianとAxolotlの貢献者たちに、最高のトレーニングフレームワークを作ってくれたことに大きな感謝を表します。
• 
• 途中で私に教えてくれたり助けてくれたオープンソースAIコミュニティの他の皆さんに感謝します。

サポート

もし私の活動を財政的に支援したい場合はこちら

私のスワッグも販売しています