Mistral Orpo Beta

🚀 Mistral-ORPO-β (7B)

Mistral-ORPO-β (7B) は、odds ratio preference optimization (ORPO) を用いて mistralai/Mistral-7B-v0.1 をファインチューニングしたバージョンです。ORPOを使用することで、このモデルは教師ありファインチューニングのウォームアップフェーズなしで直接的に好みを学習します。Mistral-ORPO-β は、Argilla による UltraFeedback のクリーン版 argilla/ultrafeedback-binarized-preferences-cleaned の61kインスタンスのみを対象にファインチューニングされています。

• Github Repository: https://github.com/xfactlab/orpo

✨ 主な機能

👍 モデルの性能

1) AlpacaEval と MT-Bench

2) IFEval

🗺️ カテゴリ別のMT-Bench

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("kaist-ai/mistral-orpo-beta")
tokenizer = AutoTokenizer.from_pretrained("kaist-ai/mistral-orpo-beta")

# Apply chat template
query = [{'role': 'user', 'content': 'Hi! How are you doing?'}]
prompt = tokenizer.apply_chat_template(query, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(prompt, return_tensors='pt')

# Generation with specific configurations
output = model.generate(
  **inputs,
  max_new_tokens=128,
  do_sample=True,
  temperature=0.7
)
response = tokenizer.batch_decode(output)

#<|user|>
#Hi! How are you doing?</s>
#<|assistant|>
#I'm doing well, thank you! How are you?</s>

📚 ドキュメント

📎 引用

@misc{hong2024orpo,
      title={ORPO: Monolithic Preference Optimization without Reference Model}, 
      author={Jiwoo Hong and Noah Lee and James Thorne},
      year={2024},
      eprint={2403.07691},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 ライセンス

このモデルは MIT ライセンスの下で提供されています。