Kosolar 10.7B V0.2

🚀 KoSOLAR-10.7B-v0.2

このモデルは、韓国語のボキャブラリを拡張したバージョンで、様々な韓国語のウェブクロールデータセットでファインチューニングされています。

🎙️ Discordでコミュニティに参加しましょう！

大規模言語モデルの分野に情熱を持ち、知識や洞察を交換したい方は、私たちのDiscordサーバーにぜひ参加してください。このサーバーでは主に韓国語が使用されています。LLMの分野は急速に進化しており、積極的な情報共有がなければ、私たちの知識はすぐに古くなってしまいます。一緒に協力し、より大きな影響を与えましょう！こちらから参加できます：Discordリンク。

🔍 当チームのメンバー (アルファベット順)

📚 モデルについて

このモデルは、upstage/SOLAR-10.7B-v1.0 の韓国語ボキャブラリ拡張バージョンで、HuggingFace上で利用可能な様々な韓国語ウェブクロールデータセットで特にファインチューニングされています。私たちのアプローチは、新しいトークンの埋め込みを事前学習し、既存のトークンの lm_head 埋め込みを部分的にファインチューニングしながら、ベースモデルの元のパラメータを保持することで、モデルの韓国語理解を拡張することでした。

🔧 技術的詳細

以下は、私たちの技術的アプローチの概要です。

def freeze_partial_embedding_hook(grad):
    grad[:32000] = 0
    return grad

for name, param in model.named_parameters():
    if ("lm_head" in name or "embed_tokens" in name) and "original" not in name:
        param.requires_grad = True
        if "embed_tokens" in name:
            param.register_hook(freeze_partial_embedding_hook)
    else:
        param.requires_grad = False

私たちの戦略は、モデルのパラメータを選択的にフリーズすることでした。具体的には、ベースモデルのほとんどのパラメータを変更せずに、韓国語の能力向上に焦点を当てました。実験を通じて、以下のことがわかりました。

1. 既存のトークンの embed_tokens レイヤーをフリーズすることは、全体的なパフォーマンスを維持するために重要です。
2. 既存のトークンの lm_head レイヤーをフリーズ解除すると、実際にパフォーマンスが向上します。

その結果、内部レイヤーと最初の32,000個の embed_tokens をフリーズし、韓国語と多言語のコーパスの豊富な混合にトレーニングを集中させました。このバランスの取れたアプローチにより、モデルの韓国語能力が著しく向上し、元の言語能力を損なうこともありません。

💡 使用方法と制限事項

このモデルは、命令ベースのトレーニングでファインチューニングされていません。韓国語タスクでは優れた性能を発揮しますが、特定のアプリケーションについては、慎重な検討とさらなるトレーニングが必要です。

📈 トレーニングの詳細

私たちのモデルのトレーニングは、包括的かつ多様でした。

• データソース:

  • 英語から韓国語への段落ペア: 5.86%
  • 多言語コーパス (主に英語): 10.69%
  • 韓国語のウェブコンテンツ: 83.46%

• ボキャブラリ拡張: 私たちは、韓国語のウェブコーパスでの出現頻度に基づいて、8,960個の韓国語トークンを慎重に選択しました。このプロセスには、複数ラウンドのトークナイザートレーニング、手動による選別、およびトークン頻度分析が含まれ、モデルに豊富で関連性の高いボキャブラリを確保しました。

  1. 初期トークナイザートレーニング: 韓国語のウェブコーパスで中間トークナイザーをトレーニングし、ボキャブラリを40,000トークンに設定しました。

  2. 新しい韓国語トークンの抽出: 中間トークナイザーから、元のSOLARのトークナイザーに存在しないすべての韓国語トークンを特定しました。

  3. 手動トークナイザー構築: これらの新しい韓国語トークンに焦点を当てて、ターゲットトークナイザーを構築しました。

  4. 頻度分析: ターゲットトークナイザーを使用して、100GBの韓国語コーパスを処理し、各トークンの頻度をカウントしました。

  5. トークンリストの洗練: 6,000回未満出現するトークンを削除し、後でモデルをトレーニングするのに十分なトークンを確保しました。

  6. 単一文字の追加: 欠落している韓国語の単一文字をカウントし、6,000回以上出現するものをターゲットトークナイザーに追加しました。

  7. 反復的な洗練: 削除または追加するトークンがなくなるまで、ステップ2から6を繰り返しました。

  8. 新しいトークンへのトレーニングバイアス: トレーニングデータには、新しいトークンを含むテキストが多く含まれるようにバイアスをかけ、効果的な学習を促進しました。

この厳格なアプローチにより、モデルに包括的で文脈豊かな韓国語ボキャブラリが確保されました。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。