Watashiha Gpt 6b

🚀 大喜利语言模型

这是一个利用AWS的trn1实例开发的大喜利语言模型。在预训练之后，使用大喜利数据进行了微调。

🚀 快速开始

环境准备

确保你已经安装了必要的库，如torch和transformers。

代码示例

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "watashiha/watashiha-gpt-6b"
tokenizer = AutoTokenizer.from_pretrained(model_name, use_fast=False)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16)

if torch.cuda.is_available():
    model = model.to("cuda")

text = "お題:ホラー映画の「○○○から逃げろ！」<SEP>回答:"
token_ids = tokenizer.encode(text, add_special_tokens=False, return_tensors="pt").to(model.device)

output_ids = model.generate(
    token_ids,
    do_sample=True,
    max_new_tokens=32,
    top_p=0.9,
    top_k=50,
    pad_token_id=tokenizer.pad_token_id,
    eos_token_id=tokenizer.eos_token_id,
)
output = tokenizer.decode(output_ids.tolist()[0], skip_special_tokens=True)
print(output)
"""お題:ホラー映画の「○○○から逃げろ！」<SEP>回答:怖いもの知らずの大学生"""

✨ 主要特性

• 架构：GPT2
• 词表大小：44880
• 模型大小：6B参数
• 许可证：Apache License 2.0
• 使用库：aws-neuron-reference-for-megatron-lm

📦 安装指南

暂未提供相关安装步骤，可参考使用库的官方文档进行安装。

📚 详细文档

训练数据

预训练数据

使用以下语料库进行了预训练，预训练时的令牌数为477亿个。

• C4的日语数据
• CC-100的日语数据
• OSCAR的日语数据
• Wikipedia的日语转储数据
• 公司自有数据

微调数据

使用693万条大喜利数据进行了微调。

性能比较

以下是各模型在相同条件下进行微调，并让手机大喜利传奇以4个等级对输出的笑话进行评估的结果。

🔧 技术细节

本模型是利用AWS的trn1实例开发的大喜利语言模型。先进行预训练，之后使用大喜利数据进行微调。模型架构采用GPT2，词表大小为44880，模型大小为6B参数。使用了aws-neuron-reference-for-megatron-lm库进行开发。

📄 许可证

本项目采用Apache License 2.0许可证。

👨‍💻 开发者

• 内田 達弥 (UCHIDA, Tatsuya)
• 小橋 洋平 (KOBASHI, Yohei)
• 黒木 修弥 (KUROKI, Shuya)
• 久保田 光 (KUBOTA, Hikaru)
• 竹之内 大輔 (TAKENOUCHI, Daisuke)