Gemma 2b It Tamil V0.1 Alpha

🚀 Gemma 2B Tamil v0.1 Alpha [實驗版本]

這是谷歌Gemma 2B模型的泰米爾語指令微調版本。此項目旨在探索在不擴展詞彙表的情況下，能否使Gemma模型適配泰米爾語。儘管模型的回覆有時不夠流暢，但對於一個僅有20億參數的模型來說，它展現出了巨大的潛力。

🚀 快速開始

本項目目前（針對泰米爾語）仍在開發中。初始預訓練階段可能不夠充分，這意味著通過在更大的數據集（如CulturaX）上進行更長時間的預訓練，模型的性能有望得到提升。

具體步驟：

1. 在所有可用的泰米爾語維基百科數據上，對Gemma基礎模型進行3個週期的持續預訓練。
2. 然後，在英語和泰米爾語Alpaca數據集的混合數據上，對更新後的模型進行5個週期的微調。

✨ 主要特性

🏆 基準測試

該模型在Nous評估套件的所有基準測試中，均優於谷歌的Gemma 2B基礎模型和指令模型。令人驚訝的是，儘管它是一個旨在進行語言適配的模型，但它在基準測試中的表現也優於mlabonne/Gemmalpaca - 2B（截至2024年2月25日，在基準測試中表現最佳的20億參數模型）。

📚 詳細文檔

模型描述

支持我的工作

如果您認可這項工作，並希望支持其持續發展，不妨請我喝杯咖啡。您的支持非常寶貴，我們深表感激。

提示格式 [Alpaca]

無輸入的提示模板

{系統提示}

### 指令:
{指令或查詢}

### 回覆:
{回覆}

有輸入的提示模板

{系統提示}

### 指令:
{指令或查詢}

### 輸入:
{輸入}

### 回覆:
{回覆}

使用說明

需要注意的是，這些模型尚未進行去毒處理。因此，儘管它們具有出色的語言能力，但仍有可能生成被認為有害或冒犯性的內容。我們敦促用戶謹慎使用，並密切監督模型的輸出，特別是在公共或敏感應用場景中。

認識開發者

瞭解這個創新模型背後的創作者，並關注他們在該領域的貢獻：

• Abhinand Balachandran

我們希望這個模型能成為您自然語言處理工具包中的寶貴工具，並期待看到它在泰米爾語理解和生成方面帶來的進步。

Open LLM排行榜評估結果

詳細結果可查看此處

⚠️ 重要提示

這些模型尚未進行去毒處理，可能會生成有害或冒犯性內容，在公共或敏感應用場景中使用時需謹慎監督。

💡 使用建議

可考慮在更大的數據集（如CulturaX）上進行更長時間的預訓練，以提升模型性能。