Guanaco 7b Leh V2

🚀 Guanaco-leh-V2: LLaMA 7Bベースの多言語命令追従型言語モデル

このモデルは、guanaco-loraを使用して、lora + embed_tokens + lm_headを学習させたものです。データセットは、alpaca-cleanedとguanacoから取得されています。学習された埋め込みとヘッドにより、このモデルは元のLLaMAよりも中国語と日本語でより良い性能を発揮し、命令ベースのプロンプトを使用することで、より簡単に利用することができます。

このモデルはguanacoデータセットで学習されているため、チャットボットとしても使用できます。以下の形式を使用してください。

### Instruction:
User: <メッセージ履歴>
Assistant: <メッセージ履歴>

### Input:
System: <次のメッセージに対するシステム応答（オプション）>
User: <次のメッセージ>

### Response:

⚠️ 重要提示

トークン消費を減らすために、元のプロンプトの最初の行を削除しました。このモデルを使用する際には、同様に削除することを検討してください。

✨ 主な機能

前モデルとの違い

主な違いは以下の通りです。

• モデルはbf16で学習され、8bitではない
• ctxの切断長が1024に増加
• より大きなデータセットを使用（最新のguanaco + alpaca cleand = 540kエントリ）
• より大きなバッチサイズを使用（64->128）

学習データにはより多くのチャットベースのデータが含まれているため、このモデルはチャットボットとしての使用により適しています。

🚀 クイックスタート

このモデルをこのColabで試すことができます。また、guanaco-loraのgenerate.pyを使用することもできます。すべての例はguanaco-loraによって生成されています。

もし、guanaco-7b-leh-v2-adapter/のloraモデルを使用する場合は、load_in_8bitをオフにするか、手動で7Bモデルにマージすることを忘れないでください。

推奨生成パラメータ

• temperature: 0.5~0.7
• top p: 0.65~1.0
• top k: 30~50
• repeat penalty: 1.03~1.17

🔧 技術詳細

学習設定

• 2x3090でモデル並列
• バッチサイズ = bsz 8 * grad acc 16 = 128
• ctx切断長 = 1024
• 出力のみで学習（損失マスク付き）
• 長さのグループを有効化
• 538kエントリ、2エポック（約8400ステップ）
• lr 2e-4

💻 使用例

基本的な使用法

このモデルを使用して、中国語の記事を日本語/ドイツ語/英語に翻訳する例を示します。

### Instruction:
User: ここにメッセージ履歴を入力
Assistant: ここにメッセージ履歴を入力

### Input:
System: 次のメッセージに対するシステム応答（オプション）
User: 翻訳したい中国語の記事を入力

### Response:

高度な使用法

チャットボットとして使用する場合の例を示します。

### Instruction:
User: ここにメッセージ履歴を入力
Assistant: ここにメッセージ履歴を入力

### Input:
System: 次のメッセージに対するシステム応答（オプション）
User: 次のメッセージを入力

### Response:

📚 ドキュメント

なぜlora+embed+headを使用するのか

まず、大規模言語モデルが特定の言語に不向きで、それを微調整したい場合、埋め込みとヘッド部分を学習するべきであることは明らかだと思います。しかし、問題は「なぜネイティブな微調整をしないのか」です。

もし、いくつかのalpacaモデルや学習に関する情報を調べたことがあれば、多くのものに「暗記」という問題があることに気づくかもしれません。損失は各エポックの開始時に低下し、一種の「過学習」のように見えます。私の意見では、これはLLaMAのパラメータ数が多すぎるため、学習データをすべて暗記してしまうからです。

しかし、注意部分にloraを使用する場合（MLP部分は無視）、パラメータ数は「学習データを暗記する」には十分ではないため、すべてのことを暗記する可能性は低くなります。

📄 ライセンス

このプロジェクトはGPL-3.0ライセンスの下で提供されています。