RLM Hinglish Translator

🚀 ヒングリッシュプロジェクト - ヒングリッシュから英語への翻訳ツール

ヒングリッシュプロジェクトは、ヒングリッシュ（インドの非公式なコミュニケーションで一般的に使用されるヒンディー語と英語の混合言語）を標準英語に翻訳できる高性能な言語翻訳モデルの開発を目指しています。このモデルは、ランク128を使用したPEFT(LoRA)法を用いてgemma - 2bをファインチューニングしたもので、ヒングリッシュの独特な構文と語彙の特徴を扱うことを目的としています。

🚀 クイックスタート

このプロジェクトは、ヒングリッシュを英語に翻訳する高性能な言語翻訳モデルを提供します。以下のセクションでは、モデルのファインチューニング方法や使用例について説明します。

✨ 主な機能

• ヒングリッシュを標準英語に翻訳する機能。
• PEFT(LoRA)法を用いた効率的なファインチューニング。
• ヒングリッシュの独特な構文と語彙の特徴を扱う能力。

🔧 技術詳細

ファインチューニング方法

• PEFT (LoRA)を用いたファインチューニングアプローチ：ファインチューニングにはパラメータ効率的なファインチューニング（PEFT）技術、特にLoRA（低ランク適応）を使用しています。LoRAは、事前学習済みモデルの注意層とフィードフォワード層を適応させる低ランク行列を導入することで、効率的にモデルを修正します。この方法により、パラメータの最小限の更新で大幅なモデル適応が可能となり、元のモデルの強みを維持しながらヒングリッシュの微妙な違いに効果的に適応させることができます。
• データセット：cmu_hinglish_dog + 自分自身の日常の友人とのチャットやUberのメッセージから取った文章の組み合わせ。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("rudrashah/RLM-hinglish-translator")
model = AutoModelForCausalLM.from_pretrained("rudrashah/RLM-hinglish-translator")

template = "Hinglish:\n{hi_en}\n\nEnglish:\n{en}" #THIS IS MOST IMPORTANT, WITHOUT THIS IT WILL GIVE RANDOM OUTPUT
input_text = tokenizer(template.format(hi_en="aapka name kya hai?",en=""),return_tensors="pt")

output = model.generate(**input_text)
print(tokenizer.decode(output[0]))

参考リンク

Kaggle上の使用コードノートブック

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。

出力例

情報テーブル

重要提示

⚠️ 重要提示

コード内のテンプレート "Hinglish:\n{hi_en}\n\nEnglish:\n{en}" は非常に重要です。これがないとランダムな出力が得られます。