Tiny Hinglish Chat 21M

🚀 Tiny Hinglish-Chat-21M 模型卡

Tiny Hinglish-Chat-21M 是一个轻量级的印英混合语（Hinglish）文本补全模型，能够就日常生活话题进行印英混合语对话。现在就通过其 Hugging Face 空间试用吧！

🚀 快速开始

若要开始使用该模型，只需运行以下 Python 代码：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

# 加载模型和分词器
model, tokenizer = (AutoModelForCausalLM.from_pretrained("Abhishekcr448/Tiny-Hinglish-Chat-21M")
                    .to("cuda" if torch.cuda.is_available() else "cpu"), 
                    AutoTokenizer.from_pretrained("Abhishekcr448/Tiny-Hinglish-Chat-21M"))

# 生成文本的函数
def generate_text(prompt):
    inputs = tokenizer(prompt, return_tensors='pt').to(model.device)
    output = model.generate(inputs['input_ids'], 
                            max_length=inputs['input_ids'].shape[-1] + 25, 
                            no_repeat_ngram_size=2, temperature=0.8, 
                            top_k=50, top_p=0.9, do_sample=True)
    return tokenizer.decode(output[0], skip_special_tokens=True)

# 用于测试的硬编码输入
prompt = 'kya kar rahe ho'
print(generate_text(prompt))

输出

kya kar rahe ho bas yaar ghar pe hi hoon main toh kabhi kabhi itna kaam karta hoon ki bore ho jata hoon

✨ 主要特性

• 专为印英混合语对话设计，能处理印地语和英语混合文本。
• 基于 GPT - 2 架构，适合对话场景下的文本补全任务。
• 模型参数约 2100 万，适用于计算资源有限的边缘设备。

📚 详细文档

模型详情

模型描述

Tiny Hinglish-Chat-21M 是一个小型对话式文本生成模型，在基于印英混合语的对话数据集上进行训练。它可以针对日常对话主题生成印英混合语（印地语和英语的混合）的回复。该模型基于 GPT - 2 架构，非常适合对话场景下的文本补全任务。 该模型使用由 GPT4o - mini 合成创建的印英混合语数据集进行训练，并进行了微调，以提供模仿两人之间随意对话的回复。此模型专为边缘设备设计，在保证回复相关性的同时，保持了轻量级和快速的特点。 构建此模型的完整过程和代码可在我的 GitHub 仓库中找到：Tiny-Hinglish-Chat-21M-Scripts

• 开发者：Abhishek Khatri
• 模型类型：文本到文本生成（对话式人工智能）
• 许可证：MIT

模型架构

该模型基于 GPT - 2 架构构建，GPT - 2 是一种著名的基于变压器的模型，旨在在各种上下文中生成连贯的文本。该模型在印英混合语对话数据集上进行了微调，确保它能够理解印地语和英语混合的文本。

性能

• 语言支持：印英混合语（印地语和英语的混合）
• 主要用例：对话式聊天机器人的文本补全
• 模型大小：约 2100 万个参数

使用场景

此模型可用于生成印英混合语的文本，非常适合小型聊天机器人或需要有限计算资源的对话式模型的应用程序。它特别适用于对模型大小和响应时间都有要求的边缘设备。

直接使用

你可以通过 Hugging Face 的空间直接使用该模型，也可以将其集成到你自己的应用程序中。目前没有实时实现，但你可以轻松地将其应用于聊天机器人或对话系统中。

偏差、风险和局限性

像任何人工智能模型一样，此模型有时可能会生成不相关或有偏差的输出。由于它是在由 GPT4o - mini 生成的合成数据上训练的，可能会出现输出反映该数据中固有偏差的情况。用户应始终审查生成的文本，以确保其相关性和适当性。

风险

• 模型有时可能会提供上下文错误或有偏差的回复。
• 由于印英混合语是非标准的语言混合，一些回复可能对不熟悉这种语言混合的用户来说难以理解。

建议

建议在部署前监控和审查生成的输出，特别是在敏感应用程序中，以避免任何不良或不适当的回复。

训练详情

训练过程，包括数据收集、预处理和模型微调，在以下 GitHub 仓库中进行了详细说明：Tiny-Hinglish-Chat-21M-Scripts。该模型在使用 GPT4o - mini 创建的自定义印英混合语数据集上进行训练。

环境影响

该模型在使用 NVIDIA RTX 4090 GPU 的私有基础设施上进行训练，总计算时间约为 10 小时。训练期间的碳排放使用机器学习 CO₂ 影响计算器进行计算。

这些值是使用 Lacoste 等人（2019）论文中提出的 MLCO₂ 影响计算器计算得出的。

技术规格

模型架构和目标

• 架构：GPT - 2（小型模型）
• 目标：基于印英混合语对话提示进行文本生成

软件

• 使用的框架：PyTorch、Transformers（Hugging Face）
• 环境：Python 3.8，torch 2.5.1，transformers 4.46.3

📄 许可证

本模型采用 MIT 许可证。

引用

如果您在工作中使用此模型或数据集，请引用以下内容：

BibTeX：

@misc{Tiny-Hinglish-Chat-21M,
  author = {Abhishek Khatri},
  title = {Tiny Hinglish-Chat-21M: A Small Hinglish Conversational Model},
  year = {2024},
  url = {https://huggingface.co/Abhishekcr448/Tiny-Hinglish-Chat-21M},
}

APA： Khatri, A. (2024). Tiny Hinglish-Chat-21M: A Small Hinglish Conversational Model. Retrieved from https://huggingface.co/Abhishekcr448/Tiny-Hinglish-Chat-21M

术语表

• 印英混合语（Hinglish）：印地语和英语的混合，在印度及周边地区的日常交流中广泛使用。它涉及在同一句话中混合使用这两种语言。
• GPT - 2：由 OpenAI 开发的基于变压器的文本生成语言模型。

模型卡作者

作者：Abhishek Khatri