Rakutenai 7B Instruct

🚀 RakutenAI-7B-instruct

RakutenAI-7Bは、日本語の大規模言語モデル（LLM）の世界に最新技術をもたらす計画的な取り組みです。このモデルは、日本語理解のベンチマークで最高のスコアを達成し、OpenCalm、Elyza、Youri、Nekomata、Swallowなどの同様のモデルの中でも英語のテストセットにおいても競争力のある性能を維持しています。

🚀 クイックスタート

RakutenAI-7B-instructモデルの使用方法は以下の通りです。

from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "Rakuten/RakutenAI-7B-instruct"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype="auto", device_map="auto")
model.eval()

requests = [
    "「馬が合う」はどう言う意味ですか",
    "How to make an authentic Spanish Omelette?",
]

system_message = "A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions. USER: {user_input} ASSISTANT:"

for req in requests:
    input_req = system_message.format(user_input=req)
    input_ids = tokenizer.encode(input_req, return_tensors="pt").to(device=model.device)
    tokens = model.generate(
        input_ids,
        max_new_tokens=1024,
        do_sample=True,
        pad_token_id=tokenizer.eos_token_id,
    )
    out = tokenizer.decode(tokens[0][len(input_ids[0]):], skip_special_tokens=True)
    print("USER:\n" + req)
    print("ASSISTANT:\n" + out)
    print()
    print()

✨ 主な機能

• RakutenAI-7Bは、日本語理解のベンチマークで最高のスコアを達成し、英語のテストセットでも競争力のある性能を維持しています。
• Mistralモデルアーキテクチャを活用し、Mistral-7B-v0.1の事前学習チェックポイントをベースにしています。
• Mistralの語彙を32kから48kに拡張し、日本語の文字あたりのトークン率を向上させています。

📚 ドキュメント

モデル評価結果

日本語のLM-Harnessメトリクス

このモデルは最高の平均スコアを達成し、次に良いモデルよりも3点以上上回っています。モデルは7-Avg.でソートされています。日本語のLM-Harnessには、以下のコミットhttps://github.com/Stability-AI/lm-evaluation-harness/tree/0fa86429679f521161d5b81a94c0c385e0a0976dをv0.3のプロンプトバージョンで使用しています。

英語のLM-Harnessメトリクス

このモデルは最高の平均スコアを達成し、次に良いモデルよりも5点以上上回っています。英語のLM-Harnessには、以下のコミットhttps://github.com/EleutherAI/lm-evaluation-harness/tree/b281b0921b636bc36ad05c0b0b0763bd6dd43463を使用しています。

また、Kamataらによる独立した評価（Nejumi LLMリーダーボード Neo）では、llm-jp-evalとJapanese MT-benchの加重平均を用いて、2024年3月22日現在、同サイズのオープンLLMの中でRakutenAI-7Bのチャット/命令調整バージョンがそれぞれ0.393/0.331のスコアで最高の性能を示していることが確認されています。

モデル詳細

制限事項とバイアス

RakutenAI-7Bモデル群は、幅広いトピックについて人間に似た文章を生成することができます。しかし、すべてのLLMと同様に、制限があり、バイアスがある、不正確な、または不安全な出力を生成する可能性があります。使用する際には、注意と判断を行使してください。

📄 ライセンス

このモデルはApache License, Version 2.0の下でライセンスされています。

引用

RakutenAI-7Bモデル群に関する我々の研究を引用する場合は、以下を使用してください。

@misc{rakutengroup2024rakutenai7b,
      title={RakutenAI-7B: Extending Large Language Models for Japanese}, 
      author={{Rakuten Group, Inc.} and Aaron Levine and Connie Huang and Chenguang Wang and Eduardo Batista and Ewa Szymanska and Hongyi Ding and Hou Wei Chou and Jean-François Pessiot and Johanes Effendi and Justin Chiu and Kai Torben Ohlhus and Karan Chopra and Keiji Shinzato and Koji Murakami and Lee Xiong and Lei Chen and Maki Kubota and Maksim Tkachenko and Miroku Lee and Naoki Takahashi and Prathyusha Jwalapuram and Ryutaro Tatsushima and Saurabh Jain and Sunil Kumar Yadav and Ting Cai and Wei-Te Chen and Yandi Xia and Yuki Nakayama and Yutaka Higashiyama},
      year={2024},
      eprint={2403.15484},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}