Selene 1 Mini Llama 3.1 8B

🚀 Atla Selene Mini

Atla Selene Miniは、最先端の小型言語評価モデル（SLMJ）です。Selene Miniは、自身の10倍のサイズのモデルと同等の性能を達成し、RewardBench、EvalBiasBench、AutoJでGPT - 4oを上回っています。

🛝 Playground | 📄 Technical report | 💻 GitHub | 👀 Access for free via API

🚀 クイックスタート

from transformers import AutoModelForCausalLM, AutoTokenizer
device = "cuda" # the device to load the model onto

model_id = "AtlaAI/Selene-1-Mini-Llama-3.1-8B"

model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_id)

prompt = "I heard you can evaluate my responses?" # replace with your prompt / we provide prompt templates used during training at github.com/atla-ai/selene-mini/tree/main/prompt-templates
messages = [{"role": "user", "content": prompt}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
model_inputs = tokenizer([text], return_tensors="pt").to(device)

generated_ids = model.generate(model_inputs.input_ids, max_new_tokens=512, do_sample=True)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

✨ 主な機能

Atla Selene Miniは、最先端の小型言語評価モデル（SLMJ）です。Llama - 3.1 - 8Bを元に、幅広い評価タスクとスコアリング基準で追加学習されており、3種類のタスクをカバーする11のベンチマークで、従来の小型モデルを上回る性能を発揮します。また、RewardBenchでは8Bの生成モデルとしてトップの性能を誇ります。

📚 ドキュメント

モデルの詳細

モデルの使用方法

Selene Miniは汎用的な評価モデルとして使用できます。様々な入力とスコアリングスケールをサポートし、構造化された評価出力を生成し、理由付きの定性的な批判を提供します。

以下の2つの一般的な使用例のクックブックを試してみてください。

• Absolute scoring
• RAG hallucination

最良の結果を得るために、こちらで学習に使用したプロンプトを提供しています。

Llama 3の会話テンプレートを適用することを忘れないでください。適用しないと予期しない動作につながる可能性があります。会話クラスはこのリンクで見つけることができます。または、以下のコードを参照して適用することができます。

📄 ライセンス

このモデルは、Apache - 2.0ライセンスの下で提供されています。

🔗 コンタクト

support@atla-ai.com
また、Discordに参加することもできます！

📖 引用

モデルを使用する場合は、以下のように引用してください。

@misc{alexandru2025atlaseleneminigeneral,
      title={Atla Selene Mini: A General Purpose Evaluation Model}, 
      author={Andrei Alexandru and Antonia Calvi and Henry Broomfield and Jackson Golden and Kyle Dai and Mathias Leys and Maurice Burger and Max Bartolo and Roman Engeler and Sashank Pisupati and Toby Drane and Young Sun Park},
      year={2025},
      eprint={2501.17195},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2501.17195}, 
}