Tiny Hinglish Chat 21M

🚀 Tiny Hinglish-Chat-21M

このモデルは、ヒングリッシュで日常会話を行うための小型のテキスト生成モデルです。Hugging Face Spaceを通じてすぐに試すことができます。

🚀 クイックスタート

このモデルを使い始めるには、以下のPythonコードを実行してください。

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

# モデルとトークナイザーをロード
model, tokenizer = (AutoModelForCausalLM.from_pretrained("Abhishekcr448/Tiny-Hinglish-Chat-21M")
                    .to("cuda" if torch.cuda.is_available() else "cpu"), 
                    AutoTokenizer.from_pretrained("Abhishekcr448/Tiny-Hinglish-Chat-21M"))

# テキスト生成関数
def generate_text(prompt):
    inputs = tokenizer(prompt, return_tensors='pt').to(model.device)
    output = model.generate(inputs['input_ids'], 
                            max_length=inputs['input_ids'].shape[-1] + 25, 
                            no_repeat_ngram_size=2, temperature=0.8, 
                            top_k=50, top_p=0.9, do_sample=True)
    return tokenizer.decode(output[0], skip_special_tokens=True)

# テスト用のハードコードされた入力
prompt = 'kya kar rahe ho'
print(generate_text(prompt))

出力

kya kar rahe ho bas yaar ghar pe hi hoon main toh kabhi kabhi itna kaam karta hoon ki bore ho jata hoon

✨ 主な機能

このモデルは、ヒングリッシュでのテキスト生成に使用でき、限られた計算リソースを持つ小規模なチャットボットやアプリケーションに最適です。特に、モデルサイズと応答時間が重要なエッジデバイスに適しています。

📚 ドキュメント

モデルの詳細

モデルの説明

Tiny Hinglish-Chat-21M は、ヒングリッシュベースの会話データセットで学習された小型の会話用テキスト生成モデルです。日常会話トピックに対してヒングリッシュ（ヒンディー語と英語の混合）で応答を生成することができます。このモデルはGPT - 2アーキテクチャに基づいており、会話設定におけるテキスト補完タスクに適しています。 このモデルは、GPT4o - miniによって合成的に作成されたヒングリッシュデータセットを使用して学習され、2人の間のカジュアルな対話を模倣する応答を提供するように微調整されています。このモデルはエッジデバイス向けに設計されており、応答の関連性を維持しながら軽量かつ高速で動作します。 このモデルを構築するために使用された完全なプロセスとコードは、GitHubリポジトリ Tiny-Hinglish-Chat-21M-Scripts で見つけることができます。

• 開発者: Abhishek Khatri
• モデルタイプ: テキスト生成（会話型AI）
• ライセンス: MIT

モデルアーキテクチャ

このモデルは、様々なコンテキストで首尾一貫したテキストを生成するために設計された、よく知られたトランスフォーマーベースのモデルであるGPT - 2アーキテクチャに基づいて構築されています。このモデルは、ヒングリッシュ会話のデータセットで微調整されており、ヒンディー語と英語の混合テキストを理解できるようになっています。

性能

• サポート言語: ヒングリッシュ（ヒンディー語と英語の混合）
• 主な使用例: 会話型チャットボットのテキスト補完
• モデルサイズ: 約2100万パラメータ

使用方法

このモデルは、Hugging FaceのSpaceを通じて直接使用するか、独自のアプリケーションに統合することができます。現在、ライブ実装は利用できませんが、チャットボットや会話システムでの使用を簡単に実装できます。

バイアス、リスク、制限事項

他のAIモデルと同様に、このモデルは時々関連性のないまたは偏った出力を生成することがあります。GPT4o - miniによって生成された合成データで学習されているため、出力がそのデータに内在するバイアスを反映する場合があります。ユーザーは常に生成されたテキストをレビューして、その関連性と適切性を確認する必要があります。

リスク

• モデルは時々文脈的に誤ったまたは偏った応答を提供することがあります。
• ヒングリッシュは非標準の言語混合であるため、その言語ブレンドに不慣れなユーザーにとっては一部の応答が理解しにくい場合があります。

推奨事項

特に敏感なアプリケーションでは、展開前に生成された出力を監視およびレビューすることをお勧めします。これにより、望ましくないまたは不適切な応答を回避することができます。

学習の詳細

データ収集、前処理、モデルの微調整を含む学習プロセスは、次のGitHubリポジトリ Tiny-Hinglish-Chat-21M-Scripts で説明されています。このモデルは、GPT4o - miniを使用して作成されたカスタムヒングリッシュデータセットで学習されました。

環境への影響

このモデルは、NVIDIA RTX 4090 GPUを使用したプライベートインフラストラクチャで学習され、総計算時間は約10時間でした。学習中の二酸化炭素排出量は、Machine Learning CO₂ Impact calculatorを使用して計算されました。

これらの値は、Lacosteら（2019）の論文で提示されたMLCO2 Impact Calculatorを使用して計算されました。

技術仕様

モデルアーキテクチャと目的

アーキテクチャ：GPT - 2（小型モデル） 目的：ヒングリッシュの会話プロンプトに基づくテキスト生成

ソフトウェア

使用されるフレームワーク：PyTorch、Transformers（Hugging Face） 環境：Python 3.8、torch 2.5.1、transformers 4.46.3

引用

このモデルまたはデータセットをあなたの研究で使用する場合は、次のように引用してください。

BibTeX:

@misc{Tiny-Hinglish-Chat-21M,
  author = {Abhishek Khatri},
  title = {Tiny Hinglish-Chat-21M: A Small Hinglish Conversational Model},
  year = {2024},
  url = {https://huggingface.co/Abhishekcr448/Tiny-Hinglish-Chat-21M},
}

APA: Khatri, A. (2024). Tiny Hinglish-Chat-21M: A Small Hinglish Conversational Model. Retrieved from https://huggingface.co/Abhishekcr448/Tiny-Hinglish-Chat-21M

用語集

ヒングリッシュ：ヒンディー語と英語のブレンドで、インドと周辺地域の日常コミュニケーションで広く使用されています。同じ文内で2つの言語を混合することがあります。 GPT - 2：OpenAIによって開発された、テキスト生成用のトランスフォーマーベースの言語モデル。

モデルカードの作成者

作成者：Abhishek Khatri

📄 ライセンス

このモデルはMITライセンスの下で提供されています。