Plamo 2 1b

🚀 PLaMo 2 1B

PLaMo 2 1Bは、Preferred Elements, Inc.によって開発された、英語と日本語のデータセットで事前学習された10億パラメータのモデルです。このモデルは、Transformerアーキテクチャではなく、Sambaのようなハイブリッドアーキテクチャを採用しており、効率と性能を向上させています。

🚀 クイックスタート

PLaMo 2 1Bを使い始めるには、まず必要なライブラリをインストールし、モデルをロードする必要があります。以下のセクションでは、具体的な手順を説明します。

✨ 主な機能

• ハイブリッドアーキテクチャ：Sambaアーキテクチャを採用し、Mambaとスライディングウィンドウアテンションを組み合わせることで、効率と性能を向上させています。
• 多言語対応：英語と日本語のデータセットで事前学習されているため、多言語のテキスト生成に対応しています。

📦 インストール

必要なライブラリ

numpy>=1.26.4
numba>=0.60.0
torch>=2.4.1
transformers>=4.44.2
mamba_ssm>=2.2.2
causal_conv1d>=1.4.0

💻 使用例

基本的な使用法

import transformers
pipeline = transformers.pipeline("text-generation", model="pfnet/plamo-2-1b", trust_remote_code=True)
print(pipeline("The future of artificial intelligence technology is ", max_new_tokens=32))

高度な使用法

from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("pfnet/plamo-2-1b", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("pfnet/plamo-2-1b", trust_remote_code=True)
text = "これからの人工知能技術は"
input_ids = tokenizer(text, return_tensors="pt").input_ids
generated_tokens = model.generate(
    inputs=input_ids,
    max_new_tokens=32,
    do_sample=True,
    top_k=50,
    top_p=0.95,
    temperature=1.0,
)[0]
generated_text = tokenizer.decode(generated_tokens)
print(generated_text)

📚 ドキュメント

モデルの詳細

学習データセット

PLaMo 2 1Bは、2段階で学習されています。第1段階では3.5兆トークン、第2段階では0.5兆トークンを使用しています。各段階におけるデータセットの割合は以下の通りです。

トークナイザー

PLaMo 2 1Bのトークナイザーは、数値関数のJITコンパイラであるnumbaによって最適化されています。トークナイザーは、モデルの事前学習に使用されるデータセットのサブセットで学習されています。

技術ブログ

• (JA) https://tech.preferred.jp/ja/blog/plamo-2/
• (JA) https://tech.preferred.jp/ja/blog/plamo-2-tokenizer/

バイアス、リスク、制限事項

PLaMo 2 1Bは新しい技術であり、使用に伴うリスクがあります。これまでのテストは英語と日本語で行われており、すべてのシナリオを網羅しているわけではありません。そのため、他の大規模言語モデルと同様に、PLaMo 2 1Bの出力は事前に予測することができず、場合によっては不正確、偏った、または不快な応答を生成する可能性があります。したがって、PLaMo 2 1Bを使用したアプリケーションを展開する前に、開発者は特定のアプリケーションに合わせた安全性のテストと調整を行う必要があります。

謝辞

このモデルは、新能源産業技術総合開発機構（NEDO）の補助事業「次世代5G情報通信システム強化基盤技術研究開発事業」（JPNP 20017）のもとで学習されています。

Preferred Networks, Inc.グループのAIポリシー

• (EN) https://www.preferred.jp/en/company/aipolicy/
• (JA) https://www.preferred.jp/ja/company/aipolicy/

📄 ライセンス

PLaMo 2 1Bは、Apache License version 2.0の下で公開されています。

⚠️ 重要提示

このモデルは、チャットダイアログやその他の下流タスクに対して命令微調整されていません。

💡 使用建议

このモデルを使用する前に、安全性のテストと調整を行ってください。また、使用するアプリケーションに合わせた微調整を行うことで、より良い性能を得ることができます。