Plamo 2 Translate

🚀 PLaMo翻訳モデル

PLaMo翻訳モデルはPreferred Networksによって開発された翻訳向け特化型大規模言語モデルです。このモデルは、翻訳タスクに特化しており、高精度な翻訳を提供します。詳しくはブログ記事およびプレスリリースを参照してください。

🚀 クイックスタート

PLaMo Translation ModelはPLaMoコミュニティライセンスの下で公開されています。ダウンロードする前に、以下のライセンスを確認し、同意してください。

• (EN) under construction: we apologize for the inconvenience
• (JA) https://www.preferred.jp/ja/plamo-community-license/

**⚠️ 重要提示 このモデルはチャットダイアログやその他の下流タスク用に命令微調整されていません。

商用ユーザー向け

商用目的で使用する場合は、PLaMoコミュニティライセンスを確認し、以下のフォームからお問い合わせください。

• (EN/JA) https://forms.gle/mTL8tBLrMYXKNZD56

✨ 主な機能

• 翻訳タスクに特化した大規模言語モデルです。
• 複数のモデルが提供されており、翻訳用の事後学習モデル、ベースモデル、ペアワイズ評価モデルなどがあります。

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

基本的な使用法

メイン/ベースモデル

import vllm

# max_model_len/max_num_batched_tokens can be increased when running on a GPU with substantial memory.
# NOTE: Switch to "pfnet/plamo-2-translate-base" to try the base model.
llm = vllm.LLM(model="pfnet/plamo-2-translate", trust_remote_code=True, max_model_len=2000, max_num_batched_tokens=2000)

prompt = r'''<|plamo:op|>dataset
translation
<|plamo:op|>input lang=English
Write the text to be translated here.
<|plamo:op|>output lang=Japanese
'''

responses = llm.generate([prompt] * 1, sampling_params=vllm.SamplingParams(temperature=0, max_tokens=1024, stop=["<|plamo:op|>"]))
# NOTE: This outputs "ここに翻訳するテキストを入力してください。".
print(responses[0].outputs[0].text)

評価モデル

import vllm

# max_model_len/max_num_batched_tokens can be increased when running on a GPU with substantial memory.
llm = vllm.LLM(model="pfnet/plamo-2-translate-eval", trust_remote_code=True, max_model_len=2000, max_num_batched_tokens=2000)

prompt = r'''<|plamo:op|>dataset
translation evaluation
<|plamo:op|>input lang=English
This is an apple.
<|plamo:op|>output id=A lang=Japanese
これはりんごです。
<|plamo:op|>output id=B lang=Japanese
これはリンゴです。
<|plamo:op|>best
id='''

responses = llm.generate([prompt] * 1, sampling_params=vllm.SamplingParams(temperature=0, max_tokens=1, stop=["<|plamo:op|>"]))
# NOTE: This outputs "A".
print(responses[0].outputs[0].text)

📚 ドキュメント

モデル一覧

• plamo-2-translate ... 翻訳用の事後学習モデル
• plamo-2-translate-base ... 翻訳用のベースモデル
• plamo-2-translate-eval ... ペアワイズ評価モデル

バイアス、リスク、制限事項

PLaMo Translation Modelは新しい技術であり、使用に伴うリスクがあります。これまでのテストは英語と日本語で行われており、すべてのシナリオを網羅していない、または網羅することができない。これらの理由から、すべての大規模言語モデルと同様に、PLaMo Translation Modelの潜在的な出力は事前に予測することができず、モデルは場合によっては不正確、偏った、またはその他の不快な応答を生成する可能性があります。したがって、PLaMo Translation Modelのアプリケーションを展開する前に、開発者はモデルの特定のアプリケーションに合わせた安全性テストとチューニングを行う必要があります。

謝辞

このモデルは、独立行政法人新エネルギー・産業技術総合開発機構（NEDO）の補助を受けた「次世代情報通信システム基盤技術研究開発事業」（JPNP 20017）のプロジェクトの下で学習されています。

Preferred Networks, Inc.グループのAIポリシー

• (EN) https://www.preferred.jp/en/company/aipolicy/
• (JA) https://www.preferred.jp/ja/company/aipolicy/

📄 ライセンス

PLaMo 2 8Bをダウンロードするには、PLaMoコミュニティライセンスに同意する必要があります。詳細は以下を参照してください。

• ライセンス名: plamo-community-license
• ライセンスリンク: https://huggingface.co/pfnet/plamo-2-8b/blob/main/LICENSE/ja

PLaMoコミュニティライセンス契約

PLaMoコミュニティライセンス契約には、株式会社Preferred Networksが提供する別途定める大規模言語基盤モデルPLaMo及びその派生物を利用するためのライセンスの内容及びユーザーが遵守する事項等が定められています。ユーザーのPLaMo及びその派生物の利用には本契約が適用され、本契約に同意又は本モデル等を利用することにより、ユーザーは本契約に拘束されます。

第1条（定義）

(1) 「本契約」とは、PLaMoコミュニティライセンス契約を意味します。 (2) 「PFN」とは、株式会社Preferred Networksを意味します。 (3) 「本モデル」とは、別途定める「PLaMo」という名称のモデルの重み、モデルコード、トークナイザー、学習スクリプト及びこれらに付随してPFNが提供するものを意味します。 (4) 「ユーザー」とは、本モデルを利用する個人又は法人を意味します。 (5) 「派生モデル」とは、本モデルを改変又は利用し作成されるモデルの重み、モデルコード及びその他作成されたモデルの付随物を意味します。 (6) 「生成物」とは、本モデル又は派生モデルの出力結果を意味します。 (7) 「本モデル等」とは、本モデル、派生モデル及び生成物の総称を意味します。 (8) 「本ライセンス」とは、PFNがユーザーに対して本契約に基づき本モデル等を利用することを許諾することを意味します。 (9) 「商業目的」とは、 私的使用又は学術用途の範囲を超える、事業での利用又は営利を目的とする利用を意味します。なお、商業目的にはユーザーの製品、サービス又は事業の開発、変更又は提供（ホスティングサービスやAPI経由での提供を含む。）を目的とした使用及びユーザーの組織内部における利用も含まれます。

第2条（ユーザー）

ユーザーは、18歳以上又はその居住国で単独で契約を締結できる年齢に達していなければなりません。但し、ユーザーの親権者又は法定代理人が本契約をユーザーが締結することに同意している場合はこの限りではありません。

第3条（本ライセンス）

(1) PFNは、ユーザーが本契約に同意しかつ本契約を遵守することを条件に、ユーザーに対して、本モデル等を本契約に定める条件及び範囲内で利用することを許諾します。 (2) 本ライセンスは非独占、世界的、譲渡不可及びロイヤリティ無料とします。 (3) ユーザーは、以下の条件をいずれも満たす場合に限り、商業目的を含む形で本モデル等を利用することができます。なお、ユーザーがこれらの条件のいずれかを満たさなくなった場合は、ユーザーはその時点で本モデル等を商業目的で利用することはできず、商業目的で本モデル等を利用したい場合は、新たにPFNから商業用のライセンスを取得しなければなりません。

• (i) PFNの公式登録ページ https://forms.gle/mTL8tBLrMYXKNZD56 に事前に登録すること。
• (ii) ユーザー又はその関係会社の直近事業年度の収入又は売上が10億円（ユーザーの現地通貨換算額）を超えないこと。

第4条（再配布及び表示義務）

(1) ユーザーが本モデル等（派生モデルやその生成物を含む）を第三者に提供する場合、以下の条件を満たさなければなりません。

• (i) 本契約のコピーを提供し、本契約の条件を遵守させること。
• (ii) 「Built with PLaMo」と明示し、関連ウェブサイト、ユーザーインターフェース、ブログ記事、製品情報ページ又は製品ドキュメントに記載すること。
• (iii) 本モデル等を利用して作成したAIモデルの名称に「PLaMo」を含めること。

第5条（生成物の利用）

(1) ユーザーは、生成物を本モデル又は派生モデルの生成物であることを明示することを条件に、公表することができます。 (2) 生成物を利用してモデルを学習した場合、そのモデルは派生モデルとして本契約の条件が適用され、本契約のライセンス条件の下でのみ利用、配布及び商業化することができます。

第6条（その他利用条件）

ユーザーは、本モデル等の利用に関して、以下に定める行為をしてはなりません。 (1) 法令又は公序良俗に違反する行為 (2) 犯罪行為又はこれを予告、関与、助長その他これらに関連する行為 (3) PFN又は第三者の権利又は利益を侵害する行為 (4) PFN又は第三者の名誉若しくは信用を毀損する行為 (5) 生成物がPFNの公式見解等であるものという錯誤を生む情報を流布する行為 (6) 虚偽の情報を発信する行為 (7) 上記の他、PFNが不適切と合理的に判断する行為

第7条（保証の否認）

(1) 本モデル及び生成物は、「現状有姿」で提供され、PFNは、これらに対して、正確性、真実性、商品性、品質、性能、特定目的への適合性、権利の非侵害など一切の保証をしません。 (2) ユーザーは、法律、医療、金融又は人物評価その他重要な事項の決定に関して、生成物を唯一の証拠、評価又は意見として使用してはなりません。 (3) ユーザーは、本モデル等の使用及びその結果に関して全ての責任を負います。

第8条（責任の制限）

(1) 契約責任、不法行為又は製造物責任その他の法的責任のいずれかであるかを問わず、PFNが本契約及び本モデル等に関してユーザーに対して負う損害賠償の責任は、通常かつ直接の損害に限り（逸失利益、特別損害、間接損害その他の損害については、その予見可能性の有無に関わらず、責任を負わない。）、損害賠償額の上限は、500円とします。但し、PFNに故意又は重過失が認められる場合はこの限りではありません。 (2) 前項に関わらず、ユーザーが本モデル等を事業のために利用する場合は、PFNは本契約及び本モデル等に関してユーザーに対して一切の損害賠償責任及びその他の責任を負いません。

第9条（ユーザーの責任）

(1) ユーザーは、本モデル等の取得及び利用に関して、適用される法令（輸出入及び貿易に関連する法令を含む。）及び本契約を遵守します。 (2) ユーザーは、本契約違反又は本モデル等の使用によって、PFNに損害を与えた場合は、その損害を賠償します。 (3) ユーザーの本モデル等の使用に起因して、PFNが第三者から損害賠償請求その他請求を受けた場合、ユーザーは、当該請求からPFNを免責し、PFNに損害を与えないようにします。

第10条（権利の帰属）

(1) 本モデルの一切の権利は、PFN又はPFNに本モデルのライセンスをしている第三者に帰属します。 (2) 派生モデルのうち、ユーザーが本モデルを改変した部分の権利はユーザーに帰属し、その他の部分の権利はPFNに帰属します。 (3) 生成物の一切の権利はユーザーに帰属します。

第11条（契約期間及び終了）

(1) 本契約は、ユーザーが本契約に同意したとき又は本モデルにアクセスしたときから、本契約が解約されたときまでとします。 (2) ユーザーが本契約のいずれかの条項に違反した場合、PFNは直ちに本契約を解除することができ、ユーザーは本モデル等のすべてのコピーを削除し、利用を即時に停止しなければなりません。

第12条（契約の変更）

PFNは、本契約（本モデル等に関するルールや諸規定等を含む。以下本条において同じ。）を変更できるものとします。PFNは、本契約を変更する場合には、変更の内容及び変更の効力発生時期を、当該効力発生時期までにPFN所定の方法で告知するものとします。

第13条（準拠法及び管轄裁判所）

(1) 本契約の準拠法は日本法とします。 (2) 本モデル等及び本契約に起因する紛争については、東京地方裁判所が専属的合意管轄裁判所とします。