Llm Jp 3 1.8b

🚀 llm-jp-3-1.8b

本仓库提供了由日本国立情报学研究所（National Institute of Informatics）的大语言模型研发中心（Research and Development Center for Large Language Models）开发的大语言模型。

🚀 快速开始

本项目提供了一系列大语言模型，你可以根据需求选择合适的模型进行使用。使用前请确保安装所需的依赖库，并参考使用示例进行操作。

✨ 主要特性

• 支持多种编程语言，包括 C、C++、C#、Go、Java、JavaScript、Lua、PHP、Python、Ruby、Rust、Scala 和 TypeScript。
• 提供多种模型变体，以满足不同场景的需求。
• 基于 Hugging Face Transformers 框架，方便使用和扩展。

📦 安装指南

使用该模型前，需要安装以下必需的库及其对应版本：

• torch>=2.3.0
• transformers>=4.40.1
• tokenizers>=0.19.1
• accelerate>=0.29.3
• flash-attn>=2.5.8

你可以使用以下命令进行安装（以 pip 为例）：

pip install torch>=2.3.0 transformers>=4.40.1 tokenizers>=0.19.1 accelerate>=0.29.3 flash-attn>=2.5.8

💻 使用示例

基础用法

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("llm-jp/llm-jp-3-1.8b")
model = AutoModelForCausalLM.from_pretrained("llm-jp/llm-jp-3-1.8b", device_map="auto", torch_dtype=torch.bfloat16)
text = "自然言語処理とは何か"
tokenized_input = tokenizer.encode(text, add_special_tokens=False, return_tensors="pt").to(model.device)
with torch.no_grad():
    output = model.generate(
        tokenized_input,
        max_new_tokens=100,
        do_sample=True,
        top_p=0.95,
        temperature=0.7,
        repetition_penalty=1.05,
    )[0]
print(tokenizer.decode(output))

📚 详细文档

模型变体

模型详情

分词器

该模型的分词器基于 huggingface/tokenizers 的 Unigram byte-fallback 模型。词汇表条目从 llm-jp-tokenizer v3.0 转换而来。有关词汇表构建过程的详细信息，请参考 llm-jp-tokenizer 的 README.md（纯 SentencePiece 训练无法重现我们的词汇表）。

数据集

预训练

模型使用以下数据集的混合进行了预训练：

指令微调

模型在以下数据集上进行了微调：

评估

llm-jp-eval (v1.3.1)

使用开发集的 100 个示例对模型进行评估：

日语 MT Bench

使用 gpt-4-0613 对模型进行评估，详情请见 代码：

🔧 技术细节

本模型基于 Transformer 架构，使用了多种数据集进行预训练和微调，以提高模型的性能和泛化能力。在评估过程中，使用了多种指标和基准测试，以确保模型在不同任务上的表现。

📄 许可证

本项目采用 Apache License, Version 2.0 许可证。

风险与限制

此处发布的模型处于研发的早期阶段，尚未进行调整以确保输出符合人类意图和安全考虑。

问题反馈

如有问题，请发送邮件至 llm-jp(at)nii.ac.jp。

模型卡片作者

（姓名按字母顺序排列） Hirokazu Kiyomaru 和 Takashi Kodama。