7B

🚀 因果言語モデル 7B - Meta LLaMA 2 と完全互換

この7Bモデルは、多くの定量評価において、既存の33B以下のすべてのモデルよりも優れている可能性があります。transformersライブラリを使用して、リモート/外部コードを必要とせずにモデルをロードでき、AutoModelForCausalLMとAutoTokenizerを使用することができます（または、手動でLlamaForCausalLMを指定してLMをロードし、GPT2Tokenizerを指定してTokenizerをロードすることもできます）。また、モデルの量子化は、GGUF（llama.cpp）、GPTQ、およびAWQと完全互換です。

🚀 クイックスタート

このモデルを使用するには、transformersライブラリを用いて、以下のようにモデルをロードします。

# モデルとトークナイザーのロード
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("CausalLM/7B")
tokenizer = AutoTokenizer.from_pretrained("CausalLM/7B")

✨ 主な機能

• 多言語対応：英語と中国語に対応しています。
• 高い精度：MMLU、CEval、GSM8Kなどの評価で高い精度を達成しています。
• 量子化互換性：GGUF（llama.cpp）、GPTQ、およびAWQとの量子化に対応しています。
• 多モーダル能力：LLaVA1.5のプロンプト形式で微調整されており、視覚指示に基づく多モーダル能力の実装が可能です。

📦 インストール

このモデルを使用するには、transformersライブラリをインストールする必要があります。以下のコマンドを使用してインストールできます。

pip install transformers

💻 使用例

基本的な使用法

# 基本的な使用例
input_text = "こんにちは、世界！"
input_ids = tokenizer.encode(input_text, return_tensors='pt')
output = model.generate(input_ids)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)

高度な使用法

# 高度な使用例：パラメータの調整
input_text = "こんにちは、世界！"
input_ids = tokenizer.encode(input_text, return_tensors='pt')
output = model.generate(input_ids, max_length=100, num_beams=5, no_repeat_ngram_size=2)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)

📚 ドキュメント

データセット

このモデルは、以下のオープンソースデータセットを使用してトレーニングされています。

• JosephusCheung/GuanacoDataset
• Open-Orca/OpenOrca
• stingning/ultrachat
• meta-math/MetaMathQA
• liuhaotian/LLaVA-Instruct-150K
• jondurbin/airoboros-3.1
• WizardLM/WizardLM_evol_instruct_V2_196k
• RyokoAI/ShareGPT52K
• RyokoAI/Fandom23K
• milashkaarshif/MoeGirlPedia_wikitext_raw_archive
• wikipedia
• wiki_lingua
• fnlp/moss-003-sft-data
• garage-bAInd/Open-Platypus
• LDJnr/Puffin
• openbmb/llava_zh
• BAAI/COIG
• TigerResearch/tigerbot-zhihu-zh-10k
• liwu/MNBVC
• teknium/openhermes

プロンプト形式

このモデルは、chatmlのプロンプト形式を使用しています。システムプロンプトは空にすることはできません。

評価結果

MMLU

CEval (Val)

GSM8K

ゼロショット正解率：0.5921152388172858

DPO バージョンの MT-Behch

🔧 技術詳細

このモデルは、Qwenの重み（およびLLaMA2の重みを使用して初期重みを計算）に基づいてトレーニングされています。トレーニングには、Hugging Faceのオープンソースデータセットを使用し、13億トークンのSFTデータセットを手動で選別しました。データの100％は合成データであり、インターネットや公開データセットの原文を直接使用することはありません。

7Bバージョンのモデルは、14Bモデルの蒸留バージョンであり、推測サンプリング用に設計されています。したがって、モデルを直接使用する場合は注意が必要で、幻覚や信頼できない出力が生成される可能性があります。

また、このモデルは未フィルターのインターネットデータでトレーニングされているため、不適切な内容、ポルノグラフィー、暴力、および攻撃的な言葉が含まれる可能性があります。モデルの安全性を確認し、出力のキーワードをフィルタリングする必要があります。

📄 ライセンス

このモデルは、WTFPLライセンスの下で公開されています。