Llama 3 Refueled

🚀 RefuelLLM-2-small (Llama-3-Refueled)

RefuelLLM-2-smallは、Llama3-8Bをベースに2750以上のデータセットで命令調整されたモデルです。分類、読解、構造化属性抽出、エンティティ解決などのタスクに対応しています。このモデルをオープンソース化し、コミュニティでの利用を促進できることを嬉しく思います。

🚀 クイックスタート

このセクションでは、RefuelLLM-2-smallの基本的な使い方を説明します。

✨ 主な機能

• 分類、読解、構造化属性抽出、エンティティ解決などのタスクに対応。
• HuggingFaceと互換性があり、簡単に利用できる。

📚 ドキュメント

モデルの詳細

RefuelLLM-2-small、別名Llama-3-Refueledは、Llama3-8Bをベースに、2750以上のデータセットで命令調整されたモデルです。分類、読解、構造化属性抽出、エンティティ解決などのタスクに対応しています。このモデルをオープンソース化し、コミュニティでの利用を促進できることを嬉しく思います。

• RefuelLLM-2モデルファミリーの詳細情報
• LLMプレイグラウンドでモデルを試すことができます。

モデル開発者 - Refuel AI 入力 - テキストのみ 出力 - テキストのみ アーキテクチャ - Llama-3-Refueledは、Llama-3-8B-instructをベースに構築されており、最適化されたトランスフォーマーアーキテクチャを使用した自己回帰型言語モデルです。 リリース日 - 2024年5月8日 ライセンス - CC BY-NC 4.0

使い方

このリポジトリには、HuggingFaceで使用可能なLlama-3-Refueledの重みが含まれています。以下のコードスニペットは、Transformersを使用した場合の例です。

💻 使用例

基本的な使用法

>>> import torch
>>> from transformers import AutoModelForCausalLM, AutoTokenizer

>>> model_id = "refuelai/Llama-3-Refueled"
>>> tokenizer = AutoTokenizer.from_pretrained(model_id)
>>> model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.float16, device_map="auto")

>>> messages = [{"role": "user", "content": "Is this comment toxic or non-toxic: RefuelLLM is the new way to label text data!"}]

>>> inputs = tokenizer.apply_chat_template(messages, return_tensors="pt", add_generation_prompt=True).to("cuda")

>>> outputs = model.generate(inputs, max_new_tokens=20)
>>> print(tokenizer.decode(outputs[0]))

訓練データ

このモデルは、40億以上のトークンで訓練され、2750以上のNLPタスクをカバーしています。訓練データセットは主に以下のもので構成されています。

1. Flan、Task Source、Ayaコレクションなどの人間によるアノテーション付きデータセット
2. OpenOrca、OpenHermes、WizardLMなどの合成データセット
3. Refuel AIが開発またはライセンスを取得した独自のデータセット

ベンチマーク

このセクションでは、Refuelモデルのラベリングタスクにおけるベンチマーク結果を報告します。方法論の詳細については、こちらを参照してください。

制限事項

Llama-3-Refueledには、モデレーション機能がありません。このモデルがガードレールを遵守し、モデレーションされた出力が必要な環境でのデプロイが可能になる方法について、コミュニティと協力して検討していきたいと思っています。

📄 ライセンス

このモデルは、CC BY-NC 4.0ライセンスの下で提供されています。