Moxin 7B LLM

🚀 Moxin 7B LLM

Moxin 7B LLMは、高性能な言語モデルです。このモデルは、自然言語処理の様々なタスクにおいて優れた性能を発揮し、研究や実務の場での利用が期待されています。

🚀 クイックスタート

モデルのダウンロード

ベースの7Bモデルはこのリンクから、チャット用の7Bモデルはこのリンクからダウンロードできます。

推論の実行

以下のコードを使用して、モデルで推論を実行できます。モデルは./model/ディレクトリに保存されています。必要に応じてモデルディレクトリを変更するか、Huggingfaceのリンクを使用してください。

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline

torch.backends.cuda.enable_mem_efficient_sdp(False)
torch.backends.cuda.enable_flash_sdp(False)


model_name = 'moxin-org/Moxin-7B-LLM'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
        model_name,
        torch_dtype=torch.bfloat16,
        device_map="auto",
        trust_remote_code=True,
    )

pipe = pipeline(
    "text-generation",
    model=model,
    tokenizer = tokenizer,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

prompt = "Can you explain the concept of regularization in machine learning?"

sequences = pipe(
    prompt,
    do_sample=True,
    max_new_tokens=1000,
    temperature=0.7,
    top_k=50,
    top_p=0.95,
    num_return_sequences=1,
)
print(sequences[0]['generated_text'])

💻 使用例

基本的な使用法

上記のコードは、モデルを使用してテキスト生成を行う基本的な例です。

高度な使用法

高度な使用法については、コード内のパラメータを調整することで、異なるテキスト生成結果を得ることができます。例えば、max_new_tokensを増やすことで、生成されるテキストの長さを増やすことができます。

📚 ドキュメント

評価結果

モデルの性能をlm-evaluation-harnessを使用してテストしました。一般的なデータセットでの評価結果を以下に示します。AI2 Reasoning Challenge (25-shot)、HellaSwag (10-shot)、MMLU (5-shot)、およびWinogrande (5-shot)でテストしています。

また、AI2 Reasoning Challenge (0-shot)、AI2 Reasoning Easy (0-shot)、HellaSwag (0-shot)、PIQA (0-shot)、およびWinogrande (0-shot)でのゼロショット性能もテストしました。結果を以下に示します。

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で提供されています。

📖 引用

このモデルを引用する場合は、以下の情報を使用してください。

@article{zhao2024fully,
  title={Fully Open Source Moxin-7B Technical Report},
  author={Zhao, Pu and Shen, Xuan and Kong, Zhenglun and Shen, Yixin and Chang, Sung-En and Rupprecht, Timothy and Lu, Lei and Nan, Enfu and Yang, Changdi and He, Yumei and others},
  journal={arXiv preprint arXiv:2412.06845},
  year={2024}
}