🚀 Gemma 2B Tamil v0.1 Alpha [Experimental Release]

これはGoogleのGemma 2Bモデルをタミル語の命令に微調整したバージョンです。この実験では、語彙を拡張せずにGemmaをタミル語に適応させることができるかを調べています。応答が時々不十分な場合がありますが、20億パラメータのモデルとしては大きな可能性を秘めています。

手順:

1. Gemmaベースモデルを、利用可能なすべてのタミル語ウィキペディアデータで3エポック間継続的に事前学習しました。
2. その後、更新されたモデルを、英語とタミル語のアルパカデータセットの混合データで5エポック間微調整しました。

注意: このプロジェクトは現在（タミル語に関して）開発中です。初期の事前学習フェーズが十分に広範でなかった可能性があり、これは、CulturaXのようなより大きなデータセットで事前学習を拡張することで、モデルの性能が向上する可能性を示唆しています。

🏆 ベンチマーク

このモデルは、Nous評価セットのすべてのベンチマークで、GoogleのGemma 2Bベースモデルおよび命令モデルを上回っています。また、言語適応を目的としたモデルであるにもかかわらず、mlabonne/Gemmalpaca - 2B（2024年2月25日現在、ベンチマークで最も性能が高い20億パラメータモデル）を驚くほど上回っています。

📚 ドキュメント

開発者の支援

このプロジェクトを気に入って、その継続的な開発を支援したい場合は、コーヒーをおごることを検討してください。あなたの支援は非常に大切で、心から感謝しています。

💻 使用例

入力なしのプロンプトテンプレート

{system_prompt}

### 命令:
{命令またはクエリ}

### 応答:
{応答}

入力ありのプロンプトテンプレート

{system_prompt}

### 命令:
{命令またはクエリ}

### 入力:
{入力}

### 応答:
{応答}

🔧 技術詳細

モデルは解毒処理を行っていないことに注意してください。したがって、印象的な言語能力を持っていますが、有害または不快な内容を生成する可能性があります。ユーザーは、特に公開または敏感なアプリケーションでは、モデルの出力を慎重に判断し、注意深く監視することを強くお勧めします。

開発者紹介

この革新的なモデルの作成者を知り、彼らの分野への貢献をフォローしましょう。

• Abhinand Balachandran

このモデルがあなたの自然言語処理ツールキットの中で貴重なツールとなり、タミル語の理解と生成における進歩がもたらされることを期待しています。

Open LLM Leaderboard評価結果

詳細な結果はこちらで確認できます。

📄 ライセンス

このモデルはGoogle Gemma利用規約の下で提供されています。