Pragmaticlm

🚀 PragmaticLM - プロンプト再構築用T5

PragmaticLMは、下流の大規模言語モデル（LLM）がより理解しやすいように、ユーザーのプロンプトを再構築および再構成するために微調整されたT5モデルです。このモデルは、文脈的再構築技術を活用して、プロンプトの明瞭性を向上させます。

🚀 クイックスタート

PragmaticLMは、下流のLLMsが理解しやすいようにユーザーのプロンプトを再構築するために設計された微調整済みのT5モデルです。

✨ 主な機能

• ユーザーのプロンプトを再構築し、下流のLLMsが理解しやすくする。
• 文脈的再構築技術を活用して、プロンプトの明瞭性を向上させる。

📦 インストール

このセクションでは、必要なライブラリのインストール方法について説明します。以下のコマンドを使用して、必要なライブラリをインストールできます。

pip install transformers torch

📚 ドキュメント

📋 モデル詳細

• ベースモデル: T5-Base
• 学習データ: Indirect Requests
• タスクタイプ: テキスト-to-テキスト変換
• ライブラリ: Hugging Face Transformers

📊 学習設定

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
import torch

tokenizer = AutoTokenizer.from_pretrained("aliMohammad16/pragmaticLM")
model = AutoModelForSeq2SeqLM.from_pretrained("aliMohammad16/pragmaticLM")

def restructure_prompt(input_prompt):
    input_text = f"Restructure Prompt: {input_prompt}"
    inputs = tokenizer(input_text, return_tensors="pt", padding=True)
    
    output = model.generate(
        inputs.input_ids,
        max_length=64,
        num_beams=4,
        early_stopping=True
    )
    
    return tokenizer.decode(output[0], skip_special_tokens=True)

# Example Usage
test_prompt = "I am not feeeling well. I need to consult a doctor nearby."
print(restructure_prompt(test_prompt))

🔧 技術詳細

このモデルは、T5-Baseをベースに、Indirect Requestsデータセットを使用して微調整されています。学習には、AdamWオプティマイザとクロスエントロピー損失関数を使用し、10エポック、バッチサイズ8で学習を行いました。エンコーダの学習率は1e-5、デコーダの学習率は3e-5です。

⏳ 改善点

• 進行中の作業: このモデルは現在開発中です。積極的に開発を進めています。
• 更新予定: 次に、マルチモジュールパイプラインを実装し、TinyLlama 1.1BとLlama Index RAGをprompt-restructuringモデルと統合して、出力生成を改善する予定です。

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で公開されています。