Rakutenai 7B

🚀 RakutenAI-7B

RakutenAI-7B 是一項系統性的創新成果，它將最新技術引入日語大語言模型領域。該模型在日語理解基準測試中取得了優異成績，並且在英語測試集上，與 OpenCalm、Elyza、Youri、Nekomata 和 Swallow 等同類模型相比，也展現出了極具競爭力的性能。

🚀 快速開始

你可以按照下面的代碼示例來使用 RakutenAI-7B 模型：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "Rakuten/RakutenAI-7B"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype="auto", device_map="auto")
model.eval()

requests = [
    "南硫黃島原生自然環境保全地域は、自然",
    "The capybara is a giant cavy rodent",
]

for req in requests:
    input_ids = tokenizer.encode(req, return_tensors="pt").to(device=model.device)
    tokens = model.generate(
        input_ids,
        max_new_tokens=256,
        do_sample=True,
        repetition_penalty=1.1,
        pad_token_id=tokenizer.eos_token_id,
    )
    out = tokenizer.decode(tokens[0], skip_special_tokens=True)
    print("INPUT:\n" + req)
    print("OUTPUT:\n" + out)
    print()
    print()

✨ 主要特性

• 先進架構：RakutenAI-7B 採用了 Mistral 模型架構，並基於 Mistral-7B-v0.1 預訓練檢查點，成功實現了預訓練模型權重的適配。
• 詞彙擴展：將 Mistral 的詞彙量從 32k 擴展到 48k，為日語提供了更好的字符 - 標記率。
• 多語言支持：支持日語和英語兩種語言。
• 卓越性能：在多個基準測試中表現出色，在日語和英語測試集上均取得了較高的平均分數。

📚 詳細文檔

模型評估結果

日語評估指標

我們的模型取得了最高的平均分數，比次優模型高出 3 分以上。模型按照 7 - 平均進行排序。我們使用以下提交 https://github.com/Stability - AI/lm - evaluation - harness/tree/0fa86429679f521161d5b81a94c0c385e0a0976d 進行日語 LM - Harness 測試，提示版本為 v0.3。

英語評估指標

我們的模型取得了最高的平均分數，比次優模型高出 4 分以上。我們使用以下提交進行英語 LM - Harness 測試 https://github.com/EleutherAI/lm - evaluation - harness/tree/b281b0921b636bc36ad05c0b0b0763bd6dd43463。

截至 2024 年 3 月 22 日，Kamata 等人使用 [llm - jp - eval](https://github.com/llm - jp/llm - jp - eval) 和 [Japanese MT - bench](https://github.com/Stability - AI/FastChat/tree/jp - stable/fastchat/llm_judge) 的加權平均值，對 [Nejumi LLM 排行榜 Neo](https://wandb.ai/wandb - japan/llm - leaderboard/reports/Nejumi - LLM - Neo--Vmlldzo2MTkyMTU0#総合評価) 進行的獨立評估也證實，RakutenAI - 7B 的聊天/指令版本在同類大小的開源大語言模型中表現最佳，得分分別為 0.393/0.331。

模型詳情

侷限性和偏差

RakutenAI - 7B 系列模型能夠在廣泛的主題上生成類似人類的文本。然而，與所有大語言模型一樣，它們也有侷限性，可能會產生有偏見、不準確或不安全的輸出。在與它們交互時，請謹慎並做出判斷。

引用方式

如需引用我們關於 RakutenAI - 7B 系列模型的工作，請使用以下 BibTeX 格式：

@misc{rakutengroup2024rakutenai7b,
      title={RakutenAI-7B: Extending Large Language Models for Japanese}, 
      author={{Rakuten Group, Inc.} and Aaron Levine and Connie Huang and Chenguang Wang and Eduardo Batista and Ewa Szymanska and Hongyi Ding and Hou Wei Chou and Jean-François Pessiot and Johanes Effendi and Justin Chiu and Kai Torben Ohlhus and Karan Chopra and Keiji Shinzato and Koji Murakami and Lee Xiong and Lei Chen and Maki Kubota and Maksim Tkachenko and Miroku Lee and Naoki Takahashi and Prathyusha Jwalapuram and Ryutaro Tatsushima and Saurabh Jain and Sunil Kumar Yadav and Ting Cai and Wei-Te Chen and Yandi Xia and Yuki Nakayama and Yutaka Higashiyama},
      year={2024},
      eprint={2403.15484},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

技術報告

技術報告可在 arXiv 上獲取。

其他版本

• 如果你正在尋找經過指令微調的模型，請查看 [RakutenAI - 7B - instruct](https://huggingface.co/Rakuten/RakutenAI - 7B - instruct)。
• 如果你正在尋找經過聊天微調的模型，請查看 [RakutenAI - 7B - chat](https://huggingface.co/Rakuten/RakutenAI - 7B - chat)。