Plamo 100b

🚀 PLaMo-100B

PLaMo-100Bは、Preferred Elements, Inc.によって開発された、英語と日本語のオープンデータセットで事前学習された100Bモデルです。商用および非商用の両方のライセンスで提供されています。

🚀 クイックスタート

このモデルを使用するには、まず必要なライブラリをインストールする必要があります。その後、パイプラインを使用するか、モデルを直接ロードしてテキスト生成を行うことができます。

✨ 主な機能

• 英語と日本語のテキスト生成が可能です。
• 商用および非商用の両方のライセンスで提供されています。

📦 インストール

必要なライブラリをインストールするには、以下のコマンドを実行します。

- numpy
- sentencepiece
- torch
- transformers

💻 使用例

基本的な使用法

import transformers
pipeline = transformers.pipeline("text-generation", model="pfnet/plamo-100b", trust_remote_code=True)
print(pipeline("The future of artificial intelligence technology is ", max_new_tokens=32))

高度な使用法

from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("pfnet/plamo-100b", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("pfnet/plamo-100b", trust_remote_code=True)
text = "これからの人工知能技術は"
input_ids = tokenizer(text, return_tensors="pt").input_ids
generated_tokens = model.generate(
    inputs=input_ids,
    max_new_tokens=32,
    do_sample=True,
    top_k=50,
    top_p=0.95,
    temperature=1.0,
)[0]
generated_text = tokenizer.decode(generated_tokens)
print(generated_text)

📚 ドキュメント

モデルの詳細

学習データセット

PLaMo-100Bは、2つのフェーズで学習されています。フェーズ1では1.5Tトークン、フェーズ2では0.5Tトークンを使用しています。各フェーズにおけるデータセットの割合は以下の表の通りです。

トークナイザー

PLaMo-100Bは、モデルの事前学習に使用されるデータセットのサブセットで学習されたsentencepieceトークナイザーを使用しています。

技術ブログ

詳細については、こちらの技術ブログを参照してください。

バイアス、リスク、制限事項

PLaMo-100Bは新しい技術であり、使用に伴うリスクがあります。これまでのテストは英語と日本語で行われており、すべてのシナリオを網羅しているわけではありません。そのため、他のすべての大規模言語モデルと同様に、PLaMo-100Bの出力は事前に予測することができず、場合によっては不正確、偏った、または不快な応答を生成する可能性があります。したがって、PLaMo-100Bを使用したアプリケーションをデプロイする前に、開発者はモデルの特定のアプリケーションに合わせた安全テストとチューニングを行う必要があります。

引用方法

@article{plamo100b,
    author    = {Preferred Elements, Inc. and Kenshin Abe and Kaizaburo Chubachi and Yasuhiro Fujita and Yuta Hirokawa and Kentaro Imajo and Toshiki Kataoka and Hiroyoshi Komatsu and Hiroaki Mikami and Tsuguo Mogami and Shogo Murai and Kosuke Nakago and Daisuke Nishino and Toru Ogawa and Daisuke Okanohara and Yoshihiko Ozaki and Shotaro Sano and Shuji Suzuki and Tianqi Xu and Toshihiko Yanase},
    title     = {PLaMo-100B: A Ground-Up Language Model Designed for Japanese Proficiency},
    year      = {2024},
    url       = {https://arxiv.org/abs/2410.07563},
    journal   = {arXiv}
}

謝辞

このモデルは、独立行政法人新エネルギー・産業技術総合開発機構（NEDO）の補助事業「次世代情報通信システム強化インフラ研究開発事業」（JPNP 20017）のもとで学習されています。

📄 ライセンス

PLaMo-100Bは商用および非商用の両方のライセンスで提供されています。非商用利用の場合は、ライセンスを確認してください。商用利用の場合は、こちらのフォームからお問い合わせください（日本語のみ）。

PLaMo非商用ライセンス契約

Preferred Networks, Inc.が提供する大規模言語モデルPLaMo - 100Bの非商用利用に関して、ユーザーが遵守しなければならないライセンスの条件を定めます。この契約に同意するか、モデルを使用することにより、ユーザーは本契約に定められたすべての条件に法的に拘束されることに同意したものとみなされます。

第1条：定義

1. 「契約」とは、このPLaMo非商用ライセンス契約をいいます。
2. 「PFN」は、Preferred Networks, Inc.の略称です。
3. 「モデル」とは、「PLaMo - 100B」という名称のモデルコードをいい、その学習スクリプト、トークナイザー、事前学習済みの重み、およびPFNが提供する関連コンポーネントやリソースを含みます。
4. 「ユーザー」とは、モデルを使用する個人または法人をいいます。
5. 「ライセンス」とは、PFNが本契約の条件の下でユーザーにモデルを使用する許可を与えることをいいます。
6. 「派生モデル」とは、モデルを微調整、量子化による縮小、コード編集、パラメーター調整などの方法で変更することによって作成されるモデルコードをいいます。派生モデルには、微調整の重みや作成されたモデルの他の関連コンポーネントおよびリソースが含まれます。
7. 「出力」とは、モデルまたは派生モデルによって生成される結果をいいます。
8. 「モデルおよび出力」とは、モデル、派生モデル、および出力を総称します。

第2条：ユーザー

ユーザーは、少なくとも18歳以上であるか、または居住国において独立して契約を締結することができる法定年齢でなければなりません。ただし、ユーザーの保護者または法定代理人がユーザーが本契約に締結することに同意する場合は、この要件は適用されません。

第3条：ライセンス

1. PFNは、ユーザーが本契約のすべての条件に同意し、遵守することを条件として、本契約の条件の下でモデルを使用する許可をユーザーに与えます。
2. 提供されるライセンスは、非排他的、世界規模、取消可能、再ライセンス不可、譲渡不可、無償です。
3. ユーザーは、モデルおよび出力を個人または学術用途にのみ使用するものとします。
4. ユーザーは、モデルおよび出力を以下の目的またはその他の商用目的で使用することを禁止されています。
   • ユーザーまたは第三者のビジネスのため。
   • 商用アプリケーションを目的としたモデルまたはサービスの開発または研究のため。
5. ユーザーは、モデルまたは派生モデルを第三者に提供してはならず、第三者に使用させてもなりません。商用または非商用目的のいずれであっても同様です。

第4条：派生モデル

1. ユーザーは、微調整、量子化による縮小、コード編集、パラメーター変更などの方法により、モデルから派生モデルを作成することができます。ただし、前条第4項に定める目的またはその他の商用目的で派生モデルを作成することは厳禁です。
2. 派生モデルを作成した場合、ユーザーはその派生モデルの名称に「PLaMo」という接頭辞を含め、明確に表示しなければなりません。

第5条：出力

1. ユーザーは、出力がモデルまたは派生モデルによって生成されたものであることを明記することを条件として、出力を公開することができます。
2. ユーザーは、出力をモデルまたは派生モデル以外の他の大規模言語モデルの開発、学習、または強化の目的で利用することを厳禁されています。

第6条：その他の使用制限

モデル、派生モデル、または出力（総称して「モデルおよび出力」という）の使用に関して、ユーザーは以下の行為を行ってはなりません。

1. 法令に違反し、または公序良俗を乱す行為。
2. PFNまたは第三者の権利または利益を侵害する行為。
3. PFNまたは第三者の名誉または信用を傷つける行為。
4. PFNまたは第三者に財産上の損害を与える行為。
5. 脅迫、人種差別、または誹謗中傷的な発言をする行為。
6. 日本の法律、具体的には個人情報保護法（平成15年法律第57号）第2条第1項で定義される個人情報、または同法で同様に定義される敏感な個人情報を入力する行為。
7. 他のユーザーをストーキング、嫌がらせ、いじめ、または個人情報を公開する行為。
8. コンピューターウイルス、悪意のあるソフトウェア、自動化ソフトウェアまたはボット、または有害なプログラムを開発、支持、または使用する行為。
9. 自殺、自傷行為、暴力、および薬物使用などの有害な行為を扇動または助長することができる通信、行動、または表現を行う行為。
10. 虚偽の情報を伝える行為。
11. 出力がPFNの公式の見解であると暗示する情報を流布する行為。
12. モデルおよび出力を金融、教育、雇用、住宅、保険、法律、医療、または個人または事業体に法的または重大な影響を与える可能性のある他の分野で使用する行為。
13. モデルおよび出力を唯一の情報源として、または専門家のアドバイスの代替として依存する行為。
14. モデルおよび出力を車両のナビゲーションまたは自動運転システムに使用する行為。
15. 犯罪行為またはそれに関連する活動に関与する、脅迫する、参加する、または支援する行為。
16. 資金洗浄または同様の金融上の不正行為を行う行為。
17. 反社会勢力に直接または間接的な利益を与える行為。
18. わいせつな内容または若者の健全な発育に有害な資料を流布する行為。
19. モデルおよび出力を政治活動または同様の性質の活動に使用する行為。
20. PFNが提供するインターフェース以外の方法でモデルを取得する行為。
21. 上記に加えて、PFNの裁量により合理的に不適切と判断される行為。

第7条：保証の否認

モデルおよび出力は「現状のまま」提供されます。PFNは、それらに関して、その正確性、信憑性、市場性、品質、性能、特定の用途への適合性、または権利の非侵害性を含むがこれらに限定されない、いかなる保証も行いません。モデルおよび出力の使用の適切性を判断する責任はユーザーにあり、ユーザーはモデルおよび出力の使用によるすべての結果について完全な責任を負います。

第8条：責任の制限

1. PFNの、本契約およびモデルおよび出力に関連してユーザーに生じた損害に対する責任は、契約、不法行為、製品責任またはその他の法的請求に基づくものであっても、直接的かつ一般的な損害に限定されます（PFNは、利益の損失、特別な、間接的な、またはその他の損害について責任を負いません。これらの損害が予見可能であったか否かを問いません）。損害賠償の最大責任額は500円です。ただし、PFNが故意または重過失で行為したと判断された場合は、この規定は適用されません。
2. 前項に関わらず、ユーザーがモデルおよび出力をビジネス目的で使用する場合、PFNは本契約およびモデルおよび出力に関するいかなる損害またはその他の責任についてもユーザーに対して責任を負いません。

第9条：ユーザーの責任

1. ユーザーは、モデルおよび出力の取得および使用が、輸出入や貿易に関する法律を含むすべての関連する法令および本契約の条件に準拠することを確保しなければなりません。
2. ユーザーは、本契約の違反またはモデルおよび出力の使用によってPFNに生じた損害を賠償するものとします。
3. ユーザーがモデルおよび出力を使用することにより、PFNが第三者から損害賠償またはその他の責任に関する請求を受けた場合、ユーザーはPFNをそのような請求から免責し、PFNを潜在的な責任から保護する責任があります。

第10条：権利の帰属

1. モデルに関するすべての権利は、PFNまたはモデルをPFNにライセンスした第三者に帰属します。
2. ユーザーは、派生モデルを作成する際にモデルに加えた変更に関する権利を保有しますが、派生モデルの残りの部分に関する権利はPFNが保有します。
3. ユーザーは、出力に関するすべての権利を保有します。

第11条：契約の終了

PFNは、いつでも独自の裁量でこの契約を終了する権利を留保します。

第12条：契約の期間

1. この契約は、ユーザーが契約の条件に同意するか、モデルにアクセスするか、いずれか早い時点で発効し、終了するまで有効です。
2. 契約が終了した場合、理由の如何を問わず、ユーザーは直ちにモデルおよび派生モデルの使用を停止し、すべてを削除しなければなりません。

第13条：契約の改定

PFNは、この契約（モデルおよび出力に関する規則および規制を含みます。本条において同じ）を改定することができます。PFNは、契約の改定に関する詳細およびその施行日を、PFNが定める方法で、変更の施行前に公表します。

第14条：準拠法および管轄裁判所

1. この契約は、日本法に準拠します。
2. この契約またはモデルおよび出力に関連して生じる一切の紛争は、東京地方裁判所の専属管轄に付されます。