Open Llama 3b V2 Instruct

🚀 open-llama-3b-v2-instruct

open-llama-3b-v2-instructは、テキスト生成タスクに特化したモデルです。複数のデータセットで評価され、一定の性能を発揮しています。このモデルを使用することで、様々な自然言語処理タスクを効率的に行うことができます。

🚀 クイックスタート

このモデルを使用する前に、必要なパッケージをインストールする必要があります。その後、サンプルコードを用いてモデルを動かすことができます。

✨ 主な機能

• 複数のデータセットでのテキスト生成タスクに対応
• 一定の精度でのテキスト生成が可能

📦 インストール

pytorchとtransformersに加えて、必要なパッケージをインストールします。

pip install accelerate sentencepiece

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForCausalLM
import transformers
import torch
model_id = 'mediocredev/open-llama-3b-v2-instruct'
tokenizer_id = 'mediocredev/open-llama-3b-v2-instruct'
tokenizer = AutoTokenizer.from_pretrained(tokenizer_id)

pipeline = transformers.pipeline(
  'text-generation',
  model=model_id,
  tokenizer=tokenizer,
  torch_dtype=torch.bfloat16,
  device_map='auto',
)

system_message = 'You are a helpful assistant, who always provide explanation.'
user_message = 'How many days are there in a leap year?'

prompt = f'### System:\n{system_message}<|endoftext|>\n### User:\n{user_message}<|endoftext|>\n### Assistant:\n'
response = pipeline(
   prompt,
   max_length=1000,
   repetition_penalty=1.05,
)
response = response[0]['generated_text']
print(response)

# Assistant: A leap year has 366 days. It's an extra day added to the calendar every four years to account for the extra time it takes for Earth to complete one full orbit around the Sun.

📚 詳細ドキュメント

制限事項

mediocredev/open-llama-3b-v2-instructはLLaMA 3B v2に基づいています。事実の正確性に関しては苦労することがあり、特に矛盾する情報や微妙なトピックが提示された場合に顕著です。その出力は決定的ではなく、その主張にのみ依存することを避けるために批判的な評価が必要です。また、その生成能力は有望ですが、事実上誤ったまたは不快な内容を生成することがあり、慎重な管理と人的監視が必要です。進化中のモデルとして、LLaMAはまだ開発中であり、バイアス緩和や解釈可能性などの分野での制限について積極的に対処されています。このモデルを責任を持って使用し、その欠点を認識することで、そのリスクを軽減しながらその可能性を引き出すことができます。

お問い合わせ

フィードバック、質問、議論を歓迎します。気軽に連絡してください：mediocredev@outlook.com

Open LLM Leaderboard評価結果

詳細な結果はこちらで確認できます。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。