English To Hinglish Fintuned Lamma 3 8b Instruct

🚀 英語からヒングリッシュへの言語翻訳モデル

このプロジェクトは、標準英語をヒングリッシュ（インドの非公式コミュニケーションで一般的に使用されるヒンディー語と英語の混合言語）に翻訳できる高性能な言語翻訳モデルの開発を目指しています。

🚀 クイックスタート

このセクションでは、モデルの使用方法や必要なインストール手順について説明します。

✨ 主な機能

• 英語からヒングリッシュへの高精度な翻訳を提供します。
• Llama 3をベースにしたファインチューニング済みモデルで、高性能を実現しています。

📦 インストール

必要なライブラリをインストールするには、以下のコマンドを実行してください。

!pip install "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"
!pip install --no-deps xformers trl peft accelerate bitsandbytes

💻 使用例

基本的な使用法

from unsloth import FastLanguageModel
import torch
max_seq_length = 2048
dtype = None # None for auto detection. Float16 for Tesla T4, V100, Bfloat16 for Ampere+
load_in_4bit = True # Use 4bit quantization to reduce memory usage. Can be False.

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "suyash2739/English_to_Hinglish_fintuned_lamma_3_8b_instruct",
    max_seq_length = max_seq_length,
    dtype = dtype,
    load_in_4bit = load_in_4bit,
)

高度な使用法

def pipe(text):
  prompt = """Translate the input from English to Hinglish to give the response.

### Input:
{}

### Response:
"""
  inputs = tokenizer(
      [
          prompt.format(text),
      ], return_tensors = "pt").to("cuda")

  outputs = model.generate(**inputs, max_new_tokens = 2048, use_cache = True)
  raw_text = tokenizer.batch_decode(outputs)[0]
  return raw_text.split("### Response:\n")[1].split("<|eot_id|>")[0]

text = "This is a fine-tuned Hinglish translation model using Llama 3." # INPUT
print(pipe(text))
## Yeh ek fine-tuned Hinglish translation model hai jo Llama 3 ka istemal karta hai.

📚 ドキュメント

データセット

このデータセットは私が作成したものです。以下のリンクから購入できます。 (https://buymeacoffee.com/suyash008/e/268592)

損失曲線

比較

• 英語

English = """Finance Minister Nirmala Sitharaman said, "There used to be a poverty index...a human development index and all of them continue, but today what is keenly watched is VIX, the volatility index of the markets." Stability of the government is important for markets to be efficient, she stated. PM Narendra Modi's third term will make markets function with stability, she added."""

• Gpt 4o

Gpt 4o = """ Finance Minister Nirmala Sitharaman ne kaha, "Pehle ek poverty index hota tha...ek human development index hota tha aur yeh sab ab bhi hain, lekin aaj jo sabse zyada dekha ja raha hai, woh hai VIX, jo markets ka volatility index hai." Unhone kaha ki sarkar ki stability markets ke efficient hone ke liye zaroori hai. PM Narendra Modi ka teesra term markets ko stability ke saath function karne mein madad karega, unhone joda."""

• 私のモデル（ファインチューニング済みLlamaモデル）

LLama model = Finance Minister Nirmala Sitharaman ne kaha, "Pehle ek poverty index hota tha... ek human development index hota tha aur sab kuch ab bhi chal raha hai, lekin aaj jo kaafi zyada dekha ja raha hai, woh VIX hai, jo markets ki volatility ka index hai." Unhone kaha ki markets ke liye sarkar ki stability zaroori hai. PM Narendra Modi ke teesre term se markets stability ke saath function karenge, unhone joda.

アップロードされたモデル

• 開発者: suyash2739
• ライセンス: apache-2.0
• ファインチューニング元のモデル : unsloth/llama-3-8b-Instruct-bnb-4bit

このLlamaモデルは、UnslothとHuggingfaceのTRLライブラリを使用して2倍速でトレーニングされました。

私のリンク

Linkedin- [https://www.linkedin.com/in/suyash-ag/ ] Github- [https://github.com/Suyash018 ]

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で公開されています。