Tiny Hinglish Chat 21M

🚀 Tiny Hinglish-Chat-21M 模型卡

Tiny Hinglish-Chat-21M 是一個輕量級的印英混合語（Hinglish）文本補全模型，能夠就日常生活話題進行印英混合語對話。現在就通過其 Hugging Face 空間試用吧！

🚀 快速開始

若要開始使用該模型，只需運行以下 Python 代碼：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

# 加載模型和分詞器
model, tokenizer = (AutoModelForCausalLM.from_pretrained("Abhishekcr448/Tiny-Hinglish-Chat-21M")
                    .to("cuda" if torch.cuda.is_available() else "cpu"), 
                    AutoTokenizer.from_pretrained("Abhishekcr448/Tiny-Hinglish-Chat-21M"))

# 生成文本的函數
def generate_text(prompt):
    inputs = tokenizer(prompt, return_tensors='pt').to(model.device)
    output = model.generate(inputs['input_ids'], 
                            max_length=inputs['input_ids'].shape[-1] + 25, 
                            no_repeat_ngram_size=2, temperature=0.8, 
                            top_k=50, top_p=0.9, do_sample=True)
    return tokenizer.decode(output[0], skip_special_tokens=True)

# 用於測試的硬編碼輸入
prompt = 'kya kar rahe ho'
print(generate_text(prompt))

輸出

kya kar rahe ho bas yaar ghar pe hi hoon main toh kabhi kabhi itna kaam karta hoon ki bore ho jata hoon

✨ 主要特性

• 專為印英混合語對話設計，能處理印地語和英語混合文本。
• 基於 GPT - 2 架構，適合對話場景下的文本補全任務。
• 模型參數約 2100 萬，適用於計算資源有限的邊緣設備。

📚 詳細文檔

模型詳情

模型描述

Tiny Hinglish-Chat-21M 是一個小型對話式文本生成模型，在基於印英混合語的對話數據集上進行訓練。它可以針對日常對話主題生成印英混合語（印地語和英語的混合）的回覆。該模型基於 GPT - 2 架構，非常適合對話場景下的文本補全任務。 該模型使用由 GPT4o - mini 合成創建的印英混合語數據集進行訓練，並進行了微調，以提供模仿兩人之間隨意對話的回覆。此模型專為邊緣設備設計，在保證回覆相關性的同時，保持了輕量級和快速的特點。 構建此模型的完整過程和代碼可在我的 GitHub 倉庫中找到：Tiny-Hinglish-Chat-21M-Scripts

• 開發者：Abhishek Khatri
• 模型類型：文本到文本生成（對話式人工智能）
• 許可證：MIT

模型架構

該模型基於 GPT - 2 架構構建，GPT - 2 是一種著名的基於變壓器的模型，旨在在各種上下文中生成連貫的文本。該模型在印英混合語對話數據集上進行了微調，確保它能夠理解印地語和英語混合的文本。

性能

• 語言支持：印英混合語（印地語和英語的混合）
• 主要用例：對話式聊天機器人的文本補全
• 模型大小：約 2100 萬個參數

使用場景

此模型可用於生成印英混合語的文本，非常適合小型聊天機器人或需要有限計算資源的對話式模型的應用程序。它特別適用於對模型大小和響應時間都有要求的邊緣設備。

直接使用

你可以通過 Hugging Face 的空間直接使用該模型，也可以將其集成到你自己的應用程序中。目前沒有即時實現，但你可以輕鬆地將其應用於聊天機器人或對話系統中。

偏差、風險和侷限性

像任何人工智能模型一樣，此模型有時可能會生成不相關或有偏差的輸出。由於它是在由 GPT4o - mini 生成的合成數據上訓練的，可能會出現輸出反映該數據中固有偏差的情況。用戶應始終審查生成的文本，以確保其相關性和適當性。

風險

• 模型有時可能會提供上下文錯誤或有偏差的回覆。
• 由於印英混合語是非標準的語言混合，一些回覆可能對不熟悉這種語言混合的用戶來說難以理解。

建議

建議在部署前監控和審查生成的輸出，特別是在敏感應用程序中，以避免任何不良或不適當的回覆。

訓練詳情

訓練過程，包括數據收集、預處理和模型微調，在以下 GitHub 倉庫中進行了詳細說明：Tiny-Hinglish-Chat-21M-Scripts。該模型在使用 GPT4o - mini 創建的自定義印英混合語數據集上進行訓練。

環境影響

該模型在使用 NVIDIA RTX 4090 GPU 的私有基礎設施上進行訓練，總計算時間約為 10 小時。訓練期間的碳排放使用機器學習 CO₂ 影響計算器進行計算。

這些值是使用 Lacoste 等人（2019）論文中提出的 MLCO₂ 影響計算器計算得出的。

技術規格

模型架構和目標

• 架構：GPT - 2（小型模型）
• 目標：基於印英混合語對話提示進行文本生成

軟件

• 使用的框架：PyTorch、Transformers（Hugging Face）
• 環境：Python 3.8，torch 2.5.1，transformers 4.46.3

📄 許可證

本模型採用 MIT 許可證。

引用

如果您在工作中使用此模型或數據集，請引用以下內容：

BibTeX：

@misc{Tiny-Hinglish-Chat-21M,
  author = {Abhishek Khatri},
  title = {Tiny Hinglish-Chat-21M: A Small Hinglish Conversational Model},
  year = {2024},
  url = {https://huggingface.co/Abhishekcr448/Tiny-Hinglish-Chat-21M},
}

APA： Khatri, A. (2024). Tiny Hinglish-Chat-21M: A Small Hinglish Conversational Model. Retrieved from https://huggingface.co/Abhishekcr448/Tiny-Hinglish-Chat-21M

術語表

• 印英混合語（Hinglish）：印地語和英語的混合，在印度及周邊地區的日常交流中廣泛使用。它涉及在同一句話中混合使用這兩種語言。
• GPT - 2：由 OpenAI 開發的基於變壓器的文本生成語言模型。

模型卡作者

作者：Abhishek Khatri