Ragas Critic Llm Qwen1.5 GPTQ

🚀 Ragas Critic Model

Ragas合成テストデータ生成の一部として使用されるモデルで、評価モデルとしてGPT - 4の代わりに利用できます。詳細についてはragasをご覧ください。

🚀 クイックスタート

💻 使用例

基本的な使用法

from langchain_community.llms import VLLM

llm = VLLM(
    model="explodinggradients/Ragas-critic-llm-Qwen1.5-GPTQ",
    trust_remote_code=True,  # mandatory for hf models
    max_new_tokens=512,
    top_k=10,
    top_p=0.95,
    temperature=0.0,)


template = "<|im_start|>user\n{}<|im_end|>\n<|im_start|>assistant\n"
input_text = """"""

simple_instruction = template.format(input_text)

llm.invoke(simple_instruction)

高度な使用法

ドキュメントから合成QAペアを生成するには、こちらのノートブックを使用してください。

📄 ライセンス

本プロジェクトはApache - 2.0ライセンスの下で提供されています。