OPT 6B Nerys V2

🚀 OPT 6B - Nerys

OPT 6B - Nerysは、FacebookのOPTモデルを使用して作成されたファインチューニングモデルです。このモデルは、特定のデータセットを用いて訓練され、テキスト生成に利用できます。

✨ 主な機能

OPT 6B - Nerysは、FacebookのOPTモデルをベースにしたファインチューニングモデルで、テキスト生成タスクに使用できます。

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションを省略します。

💻 使用例

基本的な使用法

# You can use this model directly with a pipeline for text generation. This example generates a different sequence each time it's run:
>>> from transformers import pipeline
>>> generator = pipeline('text-generation', model='KoboldAI/OPT-6B-Nerys-v2')
>>> generator("Welcome Captain Janeway, I apologize for the delay.", do_sample=True, min_length=50)
[{'generated_text': 'Welcome Captain Janeway, I apologize for the delay."\nIt's all right," Janeway said. "I'm certain that you're doing your best to keep me informed of what\'s going on."'}]

📚 ドキュメント

モデルの説明

OPT 6B - Nerysは、FacebookのOPTモデルをベースにしたファインチューニングモデルです。

訓練データ

訓練データには、様々なジャンルの約2500冊の電子書籍（「Pike」データセット）、CYOAデータセットである「CYS」、および50冊のアジアの「ライトノベル」（「Manga - v1」データセット）が含まれています。データセットの大部分には、次のテキストが先頭に付加されています: [Genre: <genre1>, <genre2>]。このデータセットは、fairseq - dense - 13B - Nerys - v2と同じ方法でクリーニングされています。

制限事項とバイアス

NLP技術に関する既知の問題に基づき、潜在的な関連要因にはバイアス（性別、職業、人種、宗教）が含まれます。

📄 ライセンス

OPT - 6Bは、OPT - 175Bライセンスの下でライセンスされており、Copyright (c) Meta Platforms, Inc. All Rights Reservedです。

BibTeXエントリと引用情報

@misc{zhang2022opt,
      title={OPT: Open Pre-trained Transformer Language Models}, 
      author={Susan Zhang and Stephen Roller and Naman Goyal and Mikel Artetxe and Moya Chen and Shuohui Chen and Christopher Dewan and Mona Diab and Xian Li and Xi Victoria Lin and Todor Mihaylov and Myle Ott and Sam Shleifer and Kurt Shuster and Daniel Simig and Punit Singh Koura and Anjali Sridhar and Tianlu Wang and Luke Zettlemoyer},
      year={2022},
      eprint={2205.01068},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}