Rakutenai 7B

🚀 RakutenAI-7B

RakutenAI-7Bは、最新技術を日本語の大規模言語モデル（LLM）の世界にもたらす画期的な取り組みです。このモデルは、日本語の言語理解ベンチマークで最高のスコアを達成し、OpenCalm、Elyza、Youri、Nekomata、Swallowなどの同様のモデルと比較して、英語のテストセットでも高い性能を維持しています。

🚀 クイックスタート

RakutenAI-7Bは、Mistralのモデルアーキテクチャを活用し、Mistral-7B-v0.1の事前学習チェックポイントをベースにしています。また、Mistralの語彙を32kから48kに拡張することで、日本語に対するトークンあたりの文字率を向上させています。

技術レポートはarXivで確認できます。 インストラクションチューニングされたモデルを探している場合は、RakutenAI-7B-instructを確認してください。 チャットチューニングされたモデルを探している場合は、RakutenAI-7B-chatを確認してください。

✨ 主な機能

日本語理解能力の向上

RakutenAI-7Bは、日本語の言語理解ベンチマークで高いスコアを達成しています。

英語での高い性能

同様のモデルと比較して、英語のテストセットでも高い性能を維持しています。

語彙の拡張

Mistralの語彙を32kから48kに拡張することで、日本語に対するトークンあたりの文字率を向上させています。

📚 ドキュメント

モデル評価結果

日本語の評価結果

当社のモデルは、最高の平均スコアを達成しており、次に良いモデルよりも3ポイント以上上回っています。モデルは7-Avg.でソートされています。日本語のLM-Harnessには、v0.3のプロンプトバージョンで、以下のコミットhttps://github.com/Stability-AI/lm-evaluation-harness/tree/0fa86429679f521161d5b81a94c0c385e0a0976d を使用しています。

英語の評価結果

当社のモデルは、最高の平均スコアを達成しており、次に良いモデルよりも4ポイント以上上回っています。英語のLM-Harnessには、以下のコミットhttps://github.com/EleutherAI/lm-evaluation-harness/tree/b281b0921b636bc36ad05c0b0b0763bd6dd43463 を使用しています。

KamataらによるNejumi LLMリーダーボード Neoでの独立した評価では、llm-jp-evalとJapanese MT-benchの加重平均を使用して、2024年3月22日現在、同規模のオープンLLMの中で、RakutenAI-7Bのチャット/インストラクションバージョンがそれぞれ0.393/0.331のスコアで最高の性能を示していることが確認されています。

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "Rakuten/RakutenAI-7B"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype="auto", device_map="auto")
model.eval()

requests = [
    "南硫黄島原生自然環境保全地域は、自然",
    "The capybara is a giant cavy rodent",
]

for req in requests:
    input_ids = tokenizer.encode(req, return_tensors="pt").to(device=model.device)
    tokens = model.generate(
        input_ids,
        max_new_tokens=256,
        do_sample=True,
        repetition_penalty=1.1,
        pad_token_id=tokenizer.eos_token_id,
    )
    out = tokenizer.decode(tokens[0], skip_special_tokens=True)
    print("INPUT:\n" + req)
    print("OUTPUT:\n" + out)
    print()
    print()

🔧 技術詳細

開発元

Rakuten Group, Inc.

言語

日本語、英語

ライセンス

このモデルは、Apache License, Version 2.0の下でライセンスされています。

制限事項とバイアス

RakutenAI-7Bのモデル群は、幅広いトピックについて人間に近い文章を生成することができます。しかし、他のすべてのLLMと同様に、制限があり、偏った、不正確な、または不安全な出力を生成する可能性があります。これらのモデルとやり取りする際には、注意と判断力を行使してください。

📄 ライセンス

このモデルは、Apache License, Version 2.0の下でライセンスされています。

📚 引用

RakutenAI-7Bのモデル群に関する当社の研究を引用する場合は、以下を使用してください。

@misc{rakutengroup2024rakutenai7b,
      title={RakutenAI-7B: Extending Large Language Models for Japanese}, 
      author={{Rakuten Group, Inc.} and Aaron Levine and Connie Huang and Chenguang Wang and Eduardo Batista and Ewa Szymanska and Hongyi Ding and Hou Wei Chou and Jean-François Pessiot and Johanes Effendi and Justin Chiu and Kai Torben Ohlhus and Karan Chopra and Keiji Shinzato and Koji Murakami and Lee Xiong and Lei Chen and Maki Kubota and Maksim Tkachenko and Miroku Lee and Naoki Takahashi and Prathyusha Jwalapuram and Ryutaro Tatsushima and Saurabh Jain and Sunil Kumar Yadav and Ting Cai and Wei-Te Chen and Yandi Xia and Yuki Nakayama and Yutaka Higashiyama},
      year={2024},
      eprint={2403.15484},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}