Open Llama 3b V2 Chat

🚀 open-llama-3b-v2-chat

open-llama-3b-v2-chatは、テキスト生成タスクに特化したモデルです。様々なデータセットで評価され、一定の性能を発揮しています。このモデルを使用することで、様々なテキスト生成シナリオに対応できます。

🚀 クイックスタート

前提条件

pytorchとtransformersに加えて、必要なパッケージをインストールします。

pip install sentencepiece

使い方

使用するには、以下のスクリプトをコピーしてください。

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = 'mediocredev/open-llama-3b-v2-chat'
tokenizer_id = 'mediocredev/open-llama-3b-v2-chat'
tokenizer = AutoTokenizer.from_pretrained(tokenizer_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

chat_history = [
    {"role": "user", "content": "Hello!"},
    {"role": "assistant", "content": "I am here."},
    {"role": "user", "content": "How many days are there in a leap year?"},
]

input_ids = tokenizer.apply_chat_template(
    chat_history, tokenize=True, add_generation_prompt=True, return_tensors="pt"
).to(model.device)
output_tokens = model.generate(
    input_ids,
    repetition_penalty=1.05,
    max_new_tokens=1000,
)
output_text = tokenizer.decode(
    output_tokens[0][len(input_ids[0]) :], skip_special_tokens=True
)

print(output_text)
# Assistant: There are 366 days in a leap year, which is one more day than the standard year.

✨ 主な機能

• テキスト生成タスクに対応しています。
• 複数のデータセットで評価され、一定の性能を発揮しています。

🔧 技術詳細

open-llama-3b-v2-chatはLLaMA 3B v2に基づいています。事実の正確性に関しては苦労することがあり、特に矛盾する情報や微妙なトピックが与えられた場合に顕著です。その出力は決定的ではなく、その主張にのみ依存しないように批判的な評価が必要です。また、生成能力は有望ですが、事実誤りや不快な内容を生成することがあり、慎重な管理と人的監視が必要です。進化中のモデルとして、LLaMAはまだ開発中であり、バイアス軽減や解釈可能性などの分野での制限が積極的に解決されています。このモデルを責任を持って使用し、その欠点を認識することで、リスクを軽減しながらその可能性を引き出すことができます。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

📚 ドキュメント

モデル評価結果

詳細な結果はこちらで確認できます。

📞 連絡先

フィードバック、質問、議論を歓迎します。気軽に連絡してください: mediocredev@outlook.com