RLM Hinglish Translator

🚀 印英混合語翻譯項目 - 印英混合語到英語的語言翻譯器

本項目旨在開發一個高性能的語言翻譯模型，能夠將印英混合語（一種在印度非正式交流中常用的印地語和英語的混合語言）翻譯成標準英語。該模型使用PEFT（LoRA）方法在gemma - 2b上進行微調，秩為128，旨在處理印英混合語獨特的句法和詞彙特徵。

🚀 快速開始

本項目的印英混合語翻譯模型可藉助transformers庫來使用。下面為你展示如何調用該模型進行印英混合語到英語的翻譯。

✨ 主要特性

• 高效微調方法：採用參數高效微調（PEFT）技術，特別是LoRA（低秩自適應）方法。LoRA通過引入低秩矩陣來高效地修改預訓練模型，調整模型的注意力和前饋層。這種方法能在對參數進行最少更新的情況下實現顯著的模型適配，既保留了原始模型的優勢，又能有效適應印英混合語的細微差別。
• 獨特數據集：使用了cmu_hinglish_dog數據集，還結合了來自個人日常與朋友的聊天記錄以及優步消息中的句子。

📦 安裝指南

文檔未提供具體安裝命令，跳過該章節。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("rudrashah/RLM-hinglish-translator")
model = AutoModelForCausalLM.from_pretrained("rudrashah/RLM-hinglish-translator")

template = "Hinglish:\n{hi_en}\n\nEnglish:\n{en}" #THIS IS MOST IMPORTANT, WITHOUT THIS IT WILL GIVE RANDOM OUTPUT
input_text = tokenizer(template.format(hi_en="aapka name kya hai?",en=""),return_tensors="pt")

output = model.generate(**input_text)
print(tokenizer.decode(output[0]))

高級用法

文檔未提供高級用法代碼示例，跳過該部分。

📚 詳細文檔

微調方法

• 使用PEFT（LoRA）的微調方法：微調採用參數高效微調（PEFT）技術，特別是使用LoRA（低秩自適應）。LoRA通過引入低秩矩陣來高效地修改預訓練模型，調整模型的注意力和前饋層。這種方法允許在對參數進行最少更新的情況下實現顯著的模型適配，保留了原始模型的優勢，同時有效地使其適應印英混合語的細微差別。
• 數據集：cmu_hinglish_dog + 從個人日常與朋友的聊天記錄以及優步消息中選取的句子組合。

示例輸出

使用說明

你可以參考以下Kaggle上的使用代碼筆記本：Usage Code Notebook on kaggle

🔧 技術細節

本項目的模型基於transformers庫，使用AutoTokenizer和AutoModelForCausalLM進行模型的加載和使用。在微調過程中，使用了參數高效微調（PEFT）技術中的LoRA（低秩自適應）方法，秩為128，對預訓練的gemma - 2b模型進行微調，以適應印英混合語的翻譯任務。

📄 許可證

本項目採用MIT許可證。