Watashiha Gpt 6b

🚀 大喜利語言模型

這是一個利用AWS的trn1實例開發的大喜利語言模型。在預訓練之後，使用大喜利數據進行了微調。

🚀 快速開始

環境準備

確保你已經安裝了必要的庫，如torch和transformers。

代碼示例

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "watashiha/watashiha-gpt-6b"
tokenizer = AutoTokenizer.from_pretrained(model_name, use_fast=False)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16)

if torch.cuda.is_available():
    model = model.to("cuda")

text = "お題:ホラー映畫の「○○○から逃げろ！」<SEP>回答:"
token_ids = tokenizer.encode(text, add_special_tokens=False, return_tensors="pt").to(model.device)

output_ids = model.generate(
    token_ids,
    do_sample=True,
    max_new_tokens=32,
    top_p=0.9,
    top_k=50,
    pad_token_id=tokenizer.pad_token_id,
    eos_token_id=tokenizer.eos_token_id,
)
output = tokenizer.decode(output_ids.tolist()[0], skip_special_tokens=True)
print(output)
"""お題:ホラー映畫の「○○○から逃げろ！」<SEP>回答:怖いもの知らずの大學生"""

✨ 主要特性

• 架構：GPT2
• 詞表大小：44880
• 模型大小：6B參數
• 許可證：Apache License 2.0
• 使用庫：aws-neuron-reference-for-megatron-lm

📦 安裝指南

暫未提供相關安裝步驟，可參考使用庫的官方文檔進行安裝。

📚 詳細文檔

訓練數據

預訓練數據

使用以下語料庫進行了預訓練，預訓練時的令牌數為477億個。

• C4的日語數據
• CC-100的日語數據
• OSCAR的日語數據
• Wikipedia的日語轉儲數據
• 公司自有數據

微調數據

使用693萬條大喜利數據進行了微調。

性能比較

以下是各模型在相同條件下進行微調，並讓手機大喜利傳奇以4個等級對輸出的笑話進行評估的結果。

🔧 技術細節

本模型是利用AWS的trn1實例開發的大喜利語言模型。先進行預訓練，之後使用大喜利數據進行微調。模型架構採用GPT2，詞表大小為44880，模型大小為6B參數。使用了aws-neuron-reference-for-megatron-lm庫進行開發。

📄 許可證

本項目採用Apache License 2.0許可證。

👨‍💻 開發者

• 內田 達彌 (UCHIDA, Tatsuya)
• 小橋 洋平 (KOBASHI, Yohei)
• 黒木 修彌 (KUROKI, Shuya)
• 久保田 光 (KUBOTA, Hikaru)
• 竹之內 大輔 (TAKENOUCHI, Daisuke)