私はGPT-6Bオープンソース日本語大喜利モデル - 無料でデプロイして面白い内容を生成

ホーム

Watashiha Gpt 6b

watashihaによって開発

GPT2アーキテクチャに基づいて開発された日本語大喜利言語モデルで、事前学習と大喜利データの微調整を行っています。

大規模言語モデル

Transformers

日本語オープンソースライセンス:Apache-2.0 #日本語大喜利生成 #GPT2アーキテクチャ最適化 #ユーモラスなコンテンツ作成

ダウンロード数 1,831

リリース時間 : 12/28/2023

モデル概要

これは、大喜利（日本の伝統的な文字ゲーム）のコンテンツを生成するために特別に開発された言語モデルで、GPT2アーキテクチャに基づいて開発され、大量の日本語コーパスで事前学習され、693万件の大喜利データで微調整されています。

モデル特徴

専門的な大喜利生成

大喜利のコンテンツに特化して最適化されており、日本の伝統的な文字ゲームのルールに合った面白い回答を生成できます。

大規模事前学習

477億個のトークンの日本語コーパス（C4、CC - 100、OSCAR、Wikipediaなどのデータセットを含む）を使用して事前学習されています。

専門的な微調整

693万件の大喜利データを使用して微調整され、生成されるコンテンツの関連性と趣味性が向上しています。

AWS最適化

AWSのtrn1インスタンスを利用して開発され、クラウド環境に最適化されています。

モデル能力

日本語テキスト生成

大喜利コンテンツ作成

ユーモラスなテキスト生成

使用事例

エンターテインメントアプリケーション

大喜利ゲーム

大喜利ゲームのルールに合った面白い回答を生成するために使用されます。

評価では、約44％の回答が3本（一定レベル以上の趣味性がある）と評価されました。

コンテンツ作成

コメディ番組やソーシャルメディアにクリエイティブなコンテンツを提供します。

🚀 大喜利言語モデル

これはAWSのtrn1インスタンスを利用して開発された大喜利言語モデルです。事前学習の後、大喜利データを使って微調整されました。

🚀 クイックスタート

環境準備

torchやtransformersなどの必要なライブラリがインストールされていることを確認してください。

コード例

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "watashiha/watashiha-gpt-6b"
tokenizer = AutoTokenizer.from_pretrained(model_name, use_fast=False)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16)

if torch.cuda.is_available():
    model = model.to("cuda")

text = "お題:ホラー映画の「○○○から逃げろ！」<SEP>回答:"
token_ids = tokenizer.encode(text, add_special_tokens=False, return_tensors="pt").to(model.device)

output_ids = model.generate(
    token_ids,
    do_sample=True,
    max_new_tokens=32,
    top_p=0.9,
    top_k=50,
    pad_token_id=tokenizer.pad_token_id,
    eos_token_id=tokenizer.eos_token_id,
)
output = tokenizer.decode(output_ids.tolist()[0], skip_special_tokens=True)
print(output)
"""お題:ホラー映画の「○○○から逃げろ！」<SEP>回答:怖いもの知らずの大学生"""

✨ 主な機能

アーキテクチャ：GPT2
語彙サイズ：44880
モデルサイズ：6Bパラメータ
ライセンス：Apache License 2.0
使用ライブラリ：aws-neuron-reference-for-megatron-lm

📦 インストール

関連するインストール手順はまだ提供されていません。使用ライブラリの公式ドキュメントを参照してインストールしてください。

📚 ドキュメント

学習データ

事前学習データ

以下のコーパスを使用して事前学習を行い、事前学習時のトークン数は477億個でした。

C4の日本語データ
CC-100の日本語データ
OSCARの日本語データ
Wikipediaの日本語ダンプデータ
会社独自のデータ

微調整データ

693万件の大喜利データを使って微調整を行いました。

性能比較

以下は、各モデルを同じ条件で微調整し、携帯大喜利伝説によって出力されたジョークを4段階で評価した結果です。

評価レベル	詳細
圏外	問題を日本語として理解できない
1本	問題を理解できるが、ジョークが成り立たない（面白味が欠ける）
2本	ジョークが成り立つ（面白味がある）
3本	面白い（一定レベル以上の面白味がある）

モデル	圏外	1本	2本	3本
watashiha-gpt-6b	77	204	175	44
rinna/japanese-gpt-neox-3.6b	88	194	185	30
stabilityai/japanese-stablelm-base-alpha-7b	96	164	196	43
elyza/ELYZA-japanese-Llama-2-7b-fast	75	197	198	25

🔧 技術詳細

このモデルはAWSのtrn1インスタンスを利用して開発された大喜利言語モデルです。まず事前学習を行い、その後大喜利データを使って微調整しました。モデルのアーキテクチャにはGPT2を採用し、語彙サイズは44880、モデルサイズは6Bパラメータです。開発にはaws-neuron-reference-for-megatron-lmライブラリを使用しています。