Rakutenai 7B Instruct

🚀 RakutenAI-7B-instruct

RakutenAI-7B-instruct是一个系统性的项目，它将最新技术引入了日语大语言模型领域。该模型在日语理解基准测试中取得了最佳成绩，同时在英语测试集上，与OpenCalm、Elyza、Youri、Nekomata和Swallow等类似模型相比，也保持着有竞争力的表现。

🚀 快速开始

你可以使用以下Python代码来调用RakutenAI-7B-instruct模型：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "Rakuten/RakutenAI-7B-instruct"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype="auto", device_map="auto")
model.eval()

requests = [
    "「馬が合う」はどう言う意味ですか",
    "How to make an authentic Spanish Omelette?",
]

system_message = "A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions. USER: {user_input} ASSISTANT:"

for req in requests:
    input_req = system_message.format(user_input=req)
    input_ids = tokenizer.encode(input_req, return_tensors="pt").to(device=model.device)
    tokens = model.generate(
        input_ids,
        max_new_tokens=1024,
        do_sample=True,
        pad_token_id=tokenizer.eos_token_id,
    )
    out = tokenizer.decode(tokens[0][len(input_ids[0]):], skip_special_tokens=True)
    print("USER:\n" + req)
    print("ASSISTANT:\n" + out)
    print()
    print()

✨ 主要特性

• 卓越性能：RakutenAI-7B在日语语言理解基准测试中取得了最佳成绩，在英语测试集上也有竞争力。
• 架构优势：利用Mistral模型架构，基于Mistral-7B-v0.1预训练检查点，成功改造了预训练模型权重。
• 词汇扩展：将Mistral的词汇量从32k扩展到48k，为日语提供了更好的字符/标记率。

📚 详细文档

模型描述

RakutenAI-7B是一个系统性的项目，它将最新技术引入了日语大语言模型领域。RakutenAI-7B在日语语言理解基准测试中取得了最佳成绩，同时在英语测试集上，与OpenCalm、Elyza、Youri、Nekomata和Swallow等类似模型相比，也保持着有竞争力的表现。RakutenAI-7B利用Mistral模型架构，基于Mistral-7B-v0.1预训练检查点，成功改造了预训练模型权重。此外，我们将Mistral的词汇量从32k扩展到48k，为日语提供了更好的字符/标记率。

技术报告可在arXiv上获取。

如果你正在寻找基础模型，请查看RakutenAI-7B。

如果你正在寻找聊天调优模型，请查看RakutenAI-7B-chat。

模型评估结果

日语评估结果

我们的模型取得了最高的平均分数，比次佳模型高出3分以上。模型按7-Avg.排序。我们使用以下提交的代码进行日语LM-Harness测试：https://github.com/Stability-AI/lm-evaluation-harness/tree/0fa86429679f521161d5b81a94c0c385e0a0976d ，提示版本为v0.3。

英语评估结果

我们的模型取得了最高的平均分数，比次佳模型高出5分以上。我们使用以下提交的代码进行英语LM-Harness测试：https://github.com/EleutherAI/lm-evaluation-harness/tree/b281b0921b636bc36ad05c0b0b0763bd6dd43463。

Kamata等人对Nejumi LLMリーダーボード Neo进行的独立评估，使用了llm-jp-eval和Japanese MT-bench的加权平均值，也证实了截至2024年3月22日，RakutenAI-7B的聊天/指令版本在类似规模的开源大语言模型中表现最佳，分数分别为0.393/0.331。

模型详情

局限性和偏差

RakutenAI-7B系列模型能够在广泛的主题上生成类似人类的文本。然而，像所有大语言模型一样，它们也有局限性，可能会产生有偏差、不准确或不安全的输出。在与它们交互时，请谨慎并运用判断力。

🔧 技术细节

RakutenAI-7B利用Mistral模型架构，基于Mistral-7B-v0.1预训练检查点，成功改造了预训练模型权重。此外，我们将Mistral的词汇量从32k扩展到48k，为日语提供了更好的字符/标记率。

📄 许可证

本模型遵循Apache许可证2.0版。

📚 引用

如需引用我们在RakutenAI-7B系列模型上的工作，请使用以下格式：

@misc{rakutengroup2024rakutenai7b,
      title={RakutenAI-7B: Extending Large Language Models for Japanese}, 
      author={{Rakuten Group, Inc.} and Aaron Levine and Connie Huang and Chenguang Wang and Eduardo Batista and Ewa Szymanska and Hongyi Ding and Hou Wei Chou and Jean-François Pessiot and Johanes Effendi and Justin Chiu and Kai Torben Ohlhus and Karan Chopra and Keiji Shinzato and Koji Murakami and Lee Xiong and Lei Chen and Maki Kubota and Maksim Tkachenko and Miroku Lee and Naoki Takahashi and Prathyusha Jwalapuram and Ryutaro Tatsushima and Saurabh Jain and Sunil Kumar Yadav and Ting Cai and Wei-Te Chen and Yandi Xia and Yuki Nakayama and Yutaka Higashiyama},
      year={2024},
      eprint={2403.15484},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}