Rakutenai 7B

🚀 RakutenAI-7B

RakutenAI-7B 是一项系统性的创新成果，它将最新技术引入日语大语言模型领域。该模型在日语理解基准测试中取得了优异成绩，并且在英语测试集上，与 OpenCalm、Elyza、Youri、Nekomata 和 Swallow 等同类模型相比，也展现出了极具竞争力的性能。

🚀 快速开始

你可以按照下面的代码示例来使用 RakutenAI-7B 模型：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "Rakuten/RakutenAI-7B"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype="auto", device_map="auto")
model.eval()

requests = [
    "南硫黄島原生自然環境保全地域は、自然",
    "The capybara is a giant cavy rodent",
]

for req in requests:
    input_ids = tokenizer.encode(req, return_tensors="pt").to(device=model.device)
    tokens = model.generate(
        input_ids,
        max_new_tokens=256,
        do_sample=True,
        repetition_penalty=1.1,
        pad_token_id=tokenizer.eos_token_id,
    )
    out = tokenizer.decode(tokens[0], skip_special_tokens=True)
    print("INPUT:\n" + req)
    print("OUTPUT:\n" + out)
    print()
    print()

✨ 主要特性

• 先进架构：RakutenAI-7B 采用了 Mistral 模型架构，并基于 Mistral-7B-v0.1 预训练检查点，成功实现了预训练模型权重的适配。
• 词汇扩展：将 Mistral 的词汇量从 32k 扩展到 48k，为日语提供了更好的字符 - 标记率。
• 多语言支持：支持日语和英语两种语言。
• 卓越性能：在多个基准测试中表现出色，在日语和英语测试集上均取得了较高的平均分数。

📚 详细文档

模型评估结果

日语评估指标

我们的模型取得了最高的平均分数，比次优模型高出 3 分以上。模型按照 7 - 平均进行排序。我们使用以下提交 https://github.com/Stability - AI/lm - evaluation - harness/tree/0fa86429679f521161d5b81a94c0c385e0a0976d 进行日语 LM - Harness 测试，提示版本为 v0.3。

英语评估指标

我们的模型取得了最高的平均分数，比次优模型高出 4 分以上。我们使用以下提交进行英语 LM - Harness 测试 https://github.com/EleutherAI/lm - evaluation - harness/tree/b281b0921b636bc36ad05c0b0b0763bd6dd43463。

截至 2024 年 3 月 22 日，Kamata 等人使用 [llm - jp - eval](https://github.com/llm - jp/llm - jp - eval) 和 [Japanese MT - bench](https://github.com/Stability - AI/FastChat/tree/jp - stable/fastchat/llm_judge) 的加权平均值，对 [Nejumi LLM 排行榜 Neo](https://wandb.ai/wandb - japan/llm - leaderboard/reports/Nejumi - LLM - Neo--Vmlldzo2MTkyMTU0#総合評価) 进行的独立评估也证实，RakutenAI - 7B 的聊天/指令版本在同类大小的开源大语言模型中表现最佳，得分分别为 0.393/0.331。

模型详情

局限性和偏差

RakutenAI - 7B 系列模型能够在广泛的主题上生成类似人类的文本。然而，与所有大语言模型一样，它们也有局限性，可能会产生有偏见、不准确或不安全的输出。在与它们交互时，请谨慎并做出判断。

引用方式

如需引用我们关于 RakutenAI - 7B 系列模型的工作，请使用以下 BibTeX 格式：

@misc{rakutengroup2024rakutenai7b,
      title={RakutenAI-7B: Extending Large Language Models for Japanese}, 
      author={{Rakuten Group, Inc.} and Aaron Levine and Connie Huang and Chenguang Wang and Eduardo Batista and Ewa Szymanska and Hongyi Ding and Hou Wei Chou and Jean-François Pessiot and Johanes Effendi and Justin Chiu and Kai Torben Ohlhus and Karan Chopra and Keiji Shinzato and Koji Murakami and Lee Xiong and Lei Chen and Maki Kubota and Maksim Tkachenko and Miroku Lee and Naoki Takahashi and Prathyusha Jwalapuram and Ryutaro Tatsushima and Saurabh Jain and Sunil Kumar Yadav and Ting Cai and Wei-Te Chen and Yandi Xia and Yuki Nakayama and Yutaka Higashiyama},
      year={2024},
      eprint={2403.15484},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

技术报告

技术报告可在 arXiv 上获取。

其他版本

• 如果你正在寻找经过指令微调的模型，请查看 [RakutenAI - 7B - instruct](https://huggingface.co/Rakuten/RakutenAI - 7B - instruct)。
• 如果你正在寻找经过聊天微调的模型，请查看 [RakutenAI - 7B - chat](https://huggingface.co/Rakuten/RakutenAI - 7B - chat)。