Gemma 2b Mt Hindi Fintuned

🚀 モデルIDのモデルカード

このモデルは、英語からヒンディー語への高精度な翻訳を提供するために最適化された、GEMMA 2B多言語トランスフォーマーのファインチューニング版です。

🚀 クイックスタート

以下のコードを使用して、モデルを使い始めることができます。

from transformers import AutoTokenizer, AutoModelForCausalLM

#Load the model and tokenizer
tokenizer = AutoTokenizer.from_pretrained("Satwik11/gemma-2b-mt-Hindi-Fintuned")
model = AutoModelForCausalLM.from_pretrained("Satwik11/gemma-2b-mt-Hindi-Fintuned")

def generate_translation(prompt, max_length=90):
    # Prepare the input
    inputs = tokenizer(prompt, return_tensors='pt')
    
    # Generate the translation
    outputs = model.generate(**inputs, max_length=max_length)
    
    # Decode the generated output
    translated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
    
    return translated_text

#Test the model with some example sentences
test_sentences = [
    "Today is August 19.The maximum temperature is 70 degrees Fahrenheit"
]

for sentence in test_sentences:
    prompt = f"Translate the following English text to Hindi: {sentence}"
    translation = generate_translation(prompt)
    print(translation)

✨ 主な機能

• このモデルは、英語のテキストをヒンディー語に直接翻訳するために使用できます。
• コンテンツのローカライズ、異言語間のコミュニケーション、言語学習用の教育ツール、多言語コンテンツの作成など、様々なアプリケーションに適しています。
• 機械翻訳サービス、多言語チャットボット、多言語ウェブサイトのコンテンツ管理システムなど、英語からヒンディー語への翻訳機能を必要とする大規模なシステムやアプリケーションに統合することができます。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForCausalLM

#Load the model and tokenizer
tokenizer = AutoTokenizer.from_pretrained("Satwik11/gemma-2b-mt-Hindi-Fintuned")
model = AutoModelForCausalLM.from_pretrained("Satwik11/gemma-2b-mt-Hindi-Fintuned")

def generate_translation(prompt, max_length=90):
    # Prepare the input
    inputs = tokenizer(prompt, return_tensors='pt')
    
    # Generate the translation
    outputs = model.generate(**inputs, max_length=max_length)
    
    # Decode the generated output
    translated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
    
    return translated_text

#Test the model with some example sentences
test_sentences = [
    "Today is August 19.The maximum temperature is 70 degrees Fahrenheit"
]

for sentence in test_sentences:
    prompt = f"Translate the following English text to Hindi: {sentence}"
    translation = generate_translation(prompt)
    print(translation)

📚 ドキュメント

モデルの詳細

モデルの説明

このモデルは、GEMMA 2B多言語トランスフォーマーのファインチューニング版で、英語からヒンディー語へのテキスト翻訳に特化して最適化されています。元のGEMMAアーキテクチャの機能を活用し、正確で効率的な翻訳を提供します。

利用方法

直接利用

このモデルは、英語のテキストをヒンディー語に直接翻訳するために使用できます。以下のような様々なアプリケーションに適しています。

• コンテンツのローカライズ
• 異言語間のコミュニケーション
• 言語学習用の教育ツール
• 多言語コンテンツの作成

下流利用

このモデルは、英語からヒンディー語への翻訳機能を必要とする大規模なシステムやアプリケーションに統合することができます。

• 機械翻訳サービス
• 多言語チャットボット
• 多言語ウェブサイトのコンテンツ管理システム

適用範囲外の利用

[詳細情報が必要]

バイアス、リスク、制限事項

• このモデルは、慣用句や文化的に固有のコンテンツの翻訳に苦労する可能性があります。
• 学習データに潜在的なバイアスがあり、翻訳品質に影響を与える可能性があります。
• 専門的または技術的なコンテンツに対するモデルの性能は異なる場合があります。
• 複雑な文法構造の処理や長いテキストでのコンテキストの維持に制限がある可能性があります。

推奨事項

• 重要度の高いまたは微妙な翻訳には、このモデルを人間の翻訳者と併用することをおすすめします。
• 多様で代表的なデータを使用した定期的な評価とファインチューニングにより、バイアスを軽減し、性能を向上させることができます。

🔧 技術詳細

学習データ

このモデルは、cfilt/iitb-english-hindiデータセットでファインチューニングされました。このデータセットは英語とヒンディー語の文章ペアを含んでいます。データセットの詳細については、Hugging Faceのデータセットカードを参照してください。

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。

モデルカードの問い合わせ

詳細情報については、Hugging Faceのモデルリポジトリを通じてモデルの作成者に問い合わせてください。https://www.linkedin.com/in/satwik-sinha/

⚠️ 重要提示

このモデルは、慣用句や文化的に固有のコンテンツの翻訳に苦労する可能性があり、学習データに潜在的なバイアスがあり、翻訳品質に影響を与える可能性があります。

💡 使用建议

重要度の高いまたは微妙な翻訳には、このモデルを人間の翻訳者と併用することをおすすめします。定期的な評価とファインチューニングにより、バイアスを軽減し、性能を向上させることができます。