Gemma 2b It Tamil V0.1 Alpha

🚀 Gemma 2B Tamil v0.1 Alpha [实验版本]

这是谷歌Gemma 2B模型的泰米尔语指令微调版本。此项目旨在探索在不扩展词汇表的情况下，能否使Gemma模型适配泰米尔语。尽管模型的回复有时不够流畅，但对于一个仅有20亿参数的模型来说，它展现出了巨大的潜力。

🚀 快速开始

本项目目前（针对泰米尔语）仍在开发中。初始预训练阶段可能不够充分，这意味着通过在更大的数据集（如CulturaX）上进行更长时间的预训练，模型的性能有望得到提升。

具体步骤：

1. 在所有可用的泰米尔语维基百科数据上，对Gemma基础模型进行3个周期的持续预训练。
2. 然后，在英语和泰米尔语Alpaca数据集的混合数据上，对更新后的模型进行5个周期的微调。

✨ 主要特性

🏆 基准测试

该模型在Nous评估套件的所有基准测试中，均优于谷歌的Gemma 2B基础模型和指令模型。令人惊讶的是，尽管它是一个旨在进行语言适配的模型，但它在基准测试中的表现也优于mlabonne/Gemmalpaca - 2B（截至2024年2月25日，在基准测试中表现最佳的20亿参数模型）。

📚 详细文档

模型描述

支持我的工作

如果您认可这项工作，并希望支持其持续发展，不妨请我喝杯咖啡。您的支持非常宝贵，我们深表感激。

提示格式 [Alpaca]

无输入的提示模板

{系统提示}

### 指令:
{指令或查询}

### 回复:
{回复}

有输入的提示模板

{系统提示}

### 指令:
{指令或查询}

### 输入:
{输入}

### 回复:
{回复}

使用说明

需要注意的是，这些模型尚未进行去毒处理。因此，尽管它们具有出色的语言能力，但仍有可能生成被认为有害或冒犯性的内容。我们敦促用户谨慎使用，并密切监督模型的输出，特别是在公共或敏感应用场景中。

认识开发者

了解这个创新模型背后的创作者，并关注他们在该领域的贡献：

• Abhinand Balachandran

我们希望这个模型能成为您自然语言处理工具包中的宝贵工具，并期待看到它在泰米尔语理解和生成方面带来的进步。

Open LLM排行榜评估结果

详细结果可查看此处

⚠️ 重要提示

这些模型尚未进行去毒处理，可能会生成有害或冒犯性内容，在公共或敏感应用场景中使用时需谨慎监督。

💡 使用建议

可考虑在更大的数据集（如CulturaX）上进行更长时间的预训练，以提升模型性能。