Japanese Gpt Neox Small

🚀 日語小型GPT-NeoX模型

本項目提供了一個小型的日語GPT - NeoX模型。該模型基於Transformer架構，在多種日語語料上進行訓練，可用於文本生成等自然語言處理任務。

🚀 快速開始

本倉庫提供了一個小尺寸的日語GPT - NeoX模型。該模型使用基於 [EleutherAI/gpt - neox](https://github.com/EleutherAI/gpt - neox) 的代碼進行訓練。

✨ 主要特性

• 多語料訓練：在 [日語CC - 100](http://data.statmt.org/cc - 100/ja.txt.xz)、日語C4 和 日語維基百科 上進行訓練，優化傳統語言建模目標。
• 特定功能權重：除預訓練模型外，還發布了一個名為 smileface_suffix.task0.weight 的 前綴調整 權重文件，可使生成的句子以笑臉表情 😃 結尾。
• FasterTransformer支持：自5.1版本起，NVIDIA FasterTransformer 支持GPT - NeoX推理和多種軟提示（包括前綴調整），本倉庫發佈的預訓練模型和前綴權重已驗證可與FasterTransformer 5.1配合使用。

📦 安裝指南

使用以下代碼加載模型：

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("rinna/japanese-gpt-neox-small", use_fast=False)
model = GPTNeoXForCausalLM.from_pretrained("rinna/japanese-gpt-neox-small")

📚 詳細文檔

模型架構

這是一個基於Transformer的語言模型，具有12層和768的隱藏層大小。

訓練數據

模型在以下數據集上進行訓練以優化傳統語言建模目標：

• [日語CC - 100](http://data.statmt.org/cc - 100/ja.txt.xz)
• 日語C4
• 日語維基百科

分詞方式

模型使用基於 sentencepiece 的分詞器。

前綴調整權重文件示例

除預訓練模型外，還發布了一個名為 smileface_suffix.task0.weight 的 前綴調整 權重文件用於演示。這裡的示例前綴調整權重經過訓練，促使模型在每個生成的句子末尾添加笑臉表情 😃。可在我們的GitHub倉庫 [prefix - tuning - gpt](https://github.com/rinnakk/prefix - tuning - gpt) 中找到前綴調整的訓練/推理代碼。

以下是分別使用和不使用示例前綴權重生成的一些樣本：

不使用前綴權重的3個樣本

1. 「きっとそれは絶対間違ってないね。 わたしには5か國語に4つの外國語の意味なんてわからない。 でも、とりあえずこの簡単な英文がどんな意味を持つのか知りたいよね!」
2. 25分頃に公園に著いて、ベンチに座って待っていると、またしてもS先生から連絡が入りました。 確か、午後の禮拝の時に自分の持ってきたお弁當を食べた記憶が鮮明に殘っています。 後でインターネットで検索したら、S先生のブログに飛びました。 今日の晩ごはんは焼きナスを作ってみました! * 上の寫真は昨日の朝焼けです。
3. CTで歯形ができて、その後さらにその歯形が再び噛めるようになるのは、何が原因だろう? 蟲歯になった原因も、口臭かな? それとも歯周病かな? 歯石がとれるまで、、、もうちょっとかかりそう。 子供の蟲歯って、なかなか治らないですよね。親兄弟で何度か。 子供の歯根は、親のものになります。 そして自分のものだったり、知らない間に抜いたりし、生えてきたりもします。 大人になって親からみた場合は、白い歯に変わってきて、金屬のようーでも悪くなく、親からのむし歯の心配はないですよね。

使用前綴權重的3個樣本

1. ※海外ブランド品の場合は、返品・返金等はお受け致しかねますので予めご了承願います。 ※ 商品発送後、お客様へ商品返送完了までのスピードを重視する方は海外ブランド品を先に送り付けさせて頂く ケースがございます。 😃
2. 私は過去に持っていた不動産を、中古住宅として売卻していましたが、その後の私の狀況はどうだったのでしょうか? 😃 結果としては、投資物件として売卻を考えていますが、今までの相場も読んでいただけばわかると思います。 😃 今まで、物件に対しての投資は非常に控えめにしてきたのですが、今回の提案を読んで、実際に物件を購入する際にはきちんと確認をしようと思います。 😃
3. この寫真集の表紙をこの臺紙にしている作家さんは、まるで誰かの指示を受けて行動している人物のように見える、というのが、この作品をやぶにらんだ「殺し屋集団」の描いている作品であるように思 います。 😃

使用FasterTransformer進行推理

自5.1版本起，NVIDIA FasterTransformer 現在支持GPT - NeoX推理和多種軟提示（包括前綴調整）。本倉庫發佈的預訓練模型和前綴權重已驗證可與FasterTransformer 5.1配合使用。

發佈日期

2022年9月5日

引用方式

@misc{rinna-japanese-gpt-neox-small,
    title = {rinna/japanese-gpt-neox-small},
    author = {Zhao, Tianyu and Sawada, Kei},
    url = {https://huggingface.co/rinna/japanese-gpt-neox-small}
}

@inproceedings{sawada2024release,
    title = {Release of Pre-Trained Models for the {J}apanese Language},
    author = {Sawada, Kei and Zhao, Tianyu and Shing, Makoto and Mitsui, Kentaro and Kaga, Akio and Hono, Yukiya and Wakatsuki, Toshiaki and Mitsuda, Koh},
    booktitle = {Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024)},
    month = {5},
    year = {2024},
    pages = {13898--13905},
    url = {https://aclanthology.org/2024.lrec-main.1213},
    note = {\url{https://arxiv.org/abs/2404.01657}}
}

📄 許可證

本項目採用 MIT許可證。