Plamo 2 1b

🚀 PLaMo 2 1B

PLaMo 2 1B是一個在英文和日文數據集上預訓練的10億參數模型，由Preferred Elements公司開發。它採用了獨特的架構，在文本生成任務上有一定表現。

🚀 快速開始

PLaMo 2 1B模型可用於文本生成任務。不過要注意，該模型未針對聊天對話或其他下游任務進行指令微調。

✨ 主要特性

• 混合架構：PLaMo 2系列模型採用了類似Samba的混合架構，而非傳統的Transformer架構。Samba將選擇性狀態空間模型（SSM）Mamba與滑動窗口注意力相結合，發揮兩者優勢，提升了效率和性能。
• 改進優化：PLaMo 2相較於Samba，主要有兩點改進：一是添加了歸一化層以提高訓練穩定性；二是使用Mamba2內核以提高計算效率。

📦 安裝指南

使用該模型前，需要安裝以下依賴：

numpy>=1.26.4
numba>=0.60.0
torch>=2.4.1
transformers>=4.44.2
mamba_ssm>=2.2.2
causal_conv1d>=1.4.0

💻 使用示例

基礎用法

使用transformers庫的pipeline進行文本生成：

import transformers
pipeline = transformers.pipeline("text-generation", model="pfnet/plamo-2-1b", trust_remote_code=True)
print(pipeline("The future of artificial intelligence technology is ", max_new_tokens=32))

高級用法

直接加載模型進行文本生成：

from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("pfnet/plamo-2-1b", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("pfnet/plamo-2-1b", trust_remote_code=True)
text = "これからの人工知能技術は"
input_ids = tokenizer(text, return_tensors="pt").input_ids
generated_tokens = model.generate(
    inputs=input_ids,
    max_new_tokens=32,
    do_sample=True,
    top_k=50,
    top_p=0.95,
    temperature=1.0,
)[0]
generated_text = tokenizer.decode(generated_tokens)
print(generated_text)

📚 詳細文檔

模型詳情

分詞器

PLaMo 2 1B的分詞器使用了numba進行優化，numba是一個用於數值函數的即時編譯器。該分詞器在模型預訓練數據集的一個子集上進行訓練。

技術博客

• (日文) https://tech.preferred.jp/ja/blog/plamo-2/
• (日文) https://tech.preferred.jp/ja/blog/plamo-2-tokenizer/

偏差、風險和侷限性

PLaMo 2 1B是一項新技術，使用時存在一定風險。目前的測試僅在英文和日文環境下進行，無法涵蓋所有場景。因此，與所有大語言模型一樣，PLaMo 2 1B的潛在輸出無法提前預測，在某些情況下，模型可能會對用戶的提示產生不準確、有偏差或其他令人反感的回覆。所以，在部署PLaMo 2 1B的任何應用之前，開發者應針對特定應用進行安全測試和調整。

致謝

該模型是在“後5G信息通信系統增強基礎設施研發項目”（JPNP 20017）下進行訓練的，該項目由新能源產業技術綜合開發機構（NEDO）資助。

Preferred Networks公司的AI政策

• (英文) https://www.preferred.jp/en/company/aipolicy/
• (日文) https://www.preferred.jp/ja/company/aipolicy/

📄 許可證

PLaMo 2 1B模型採用Apache License 2.0許可證發佈。

⚠️ 重要提示

該模型未針對聊天對話或其他下游任務進行指令微調。

💡 使用建議

在部署PLaMo 2 1B的任何應用之前，開發者應針對特定應用進行安全測試和調整。