Fugaku LLM 13B

🚀 Fugaku-LLM

Fugaku-LLMは、スーパーコンピュータ「富岳」を用いてゼロから事前学習された国内のモデルです。独自のデータでゼロから学習されているため、このモデルは高い透明性と安全性を備えています。学習データは主に日本語データで構成されており、日本語性能に優れています。

このモデルはFugaku-LLMによって開発されています。

他のモデルへのリンクはインデックスで確認できます。

🚀 クイックスタート

Fugaku-LLMモデルを使い始めるには、以下のセクションを参照してください。モデルの詳細、性能、使用方法、トレーニングデータセット、ライセンスなどの情報が提供されています。

✨ 主な機能

• 高い透明性と安全性：独自のデータでゼロから学習されているため、透明性と安全性が高いです。
• 優れた日本語性能：学習データが主に日本語データで構成されているため、日本語での性能が優れています。

📦 インストール

このドキュメントには具体的なインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

基本的な使用法

指示調整済みモデルの使用

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "Fugaku-LLM/Fugaku-LLM-13B-instruct"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype=torch.bfloat16, device_map="auto")
model.eval()

system_example = "以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。"
instruction_example = "スーパーコンピュータ「富岳」の名前の由来を教えてください。"

prompt = f"{system_example}\n\n### 指示:\n{instruction_example}\n\n### 応答:\n"

input_ids = tokenizer.encode(prompt,
                             add_special_tokens=False,
                             return_tensors="pt")
tokens = model.generate(
    input_ids.to(device=model.device),
    max_new_tokens=128,
    do_sample=True,
    temperature=0.1,
    top_p=1.0,
    repetition_penalty=1.0,
    top_k=0
)
out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)

ベースモデルの使用

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "Fugaku-LLM/Fugaku-LLM-13B"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype=torch.bfloat16, device_map="auto")
model.eval()

prompt = "スーパーコンピュータ「富岳」という名称は"

input_ids = tokenizer.encode(prompt,
                             add_special_tokens=False,
                             return_tensors="pt")
tokens = model.generate(
    input_ids.to(device=model.device),
    max_new_tokens=128,
    do_sample=True,
    temperature=0.1,
    top_p=1.0,
    repetition_penalty=1.0,
    top_k=0
)
out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)

📚 ドキュメント

Fugaku-LLMモデルインデックス

モデルの詳細

モデルの性能

指示調整済みモデル

[Nejumi LLM Leaderboard Neo](https://wandb.ai/wandb - japan/llm - leaderboard/reports/Nejumi-LLM-Neo--Vmlldzo2MTkyMTU0)と同じ方法で日本語MTベンチマークによりモデルを評価しました。Fastchatコードの以下の部分のみを変更しました。

• 入力プロンプトのトークナイザーを呼び出す際に"add_special_tokens=False"を追加
• 生成するトークン数を2048未満に制限

トレーニングデータセット

指示調整

• [oasst1](https://huggingface.co/datasets/llm - jp/oasst1 - 21k - ja)
• [databricks - dolly - 15k](https://huggingface.co/datasets/llm - jp/databricks - dolly - 15k - ja)
• gsm8k

🔧 技術詳細

このドキュメントには具体的な技術詳細が記載されていないため、このセクションは省略されます。

📄 ライセンス

Fugaku-LLM利用規約はLICENSEおよびLICENSE_jaファイルで確認できます。

Fugaku-LLM利用規約

この利用規約（以下「本規約」といいます）は、富士通株式会社、国立研究開発法人理化学研究所、国立大学法人東京工業大学、国立大学法人東北大学、株式会社サイバーエージェント、国立大学法人東海国立大学機構、及び株式会社Kotoba Technologies Japan (以下「開発者」といいます)による、スーパーコンピュータ「富岳」政策対応枠における大規模言語モデル分散並列学習手法の開発の成果物として公開する大規模言語モデル（以下「Fugaku-LLM」といいます）の利用に関する条件を定めるものです。Fugaku-LLMの利用者（以下「利用者」といいます）は、本規約に同意した上でFugaku-LLMを利用するものとします。

• 第１条（利用許諾） Fugaku-LLMの利用者は、本規約に従い、Fugaku-LLMを商用または非商用目的を問わず利用することができます。なお、利用には、Fugaku-LLMの改変、複製および再配布ならびにFugaku-LLM又はFugaku-LLMを改変し作成した大規模言語モデル（以下「改変物」という）を用いたサービスの実施を含むものとします。ただし、利用者は、Fugaku-LLM又は改変物の再配布時のライセンスまたはFugaku-LLMもしくは改変物を用いたサービスの利用規約には本利用規約を含む必要があります。また、利用者が改変物を再配布する際、利用者が改変したことを明記する必要があります。本規約に違反したFugaku-LLMの利用者は、Fugaku-LLMを利用することはできません。

• 第２条（責任）

  1. 利用者は、Fugaku-LLMは現状有姿で提供され、開発者は、明示または黙示を問わず、Fugaku-LLMに関し、その正確性、完全性、最新性、および品質など、いかなる保証も行わず、利用者が本Fugaku-LLMを利用したこと、利用できなかったことにより生じた一切の損害について責任を負わないことを、予め承諾するものとします。
  2. 利用者は、利用者によるFugaku-LLMの利用により、または、利用者が本利用規約に違反したことにより開発者が損害を被った場合、当該損害を賠償するものとします。
  3. 利用者は、自己の責任と判断において利用するものとし、Fugaku-LLMの利用に関して、第三者との間で生じた紛争について、自らの責任と負担で対応し、開発者に一切の迷惑を掛けないものとします。利用者はFugaku-LLMの利用によって生じた損害について自己の責任で対処するものとします。

• 第３条（禁止行為） 利用者は、Fugaku-LLMを利用して以下の行為を行わないものとします。

  1. 開発者もしくは第三者の知的財産権を侵害する行為、または侵害するおそれのある行為
  2. 開発者もしくは第三者の財産、プライバシーもしくは肖像権を侵害する行為、または侵害するおそれのある行為
  3. 開発者もしくは第三者を差別もしくは誹謗中傷・侮辱し、他者への差別を助長し、または名誉もしくは信用を毀損する行為
  4. 許可されていない法律業務に従事したり、有資格の専門家以外からの法律アドバイスを提供したりする行為
  5. 有資格の専門家以外からの財務アドバイスを提供する行為
  6. 健康への助言や治療方法の提示などを含む医療行為
  7. その他法令に基づく許可等が必要な行為

• 第４条（制約事項）

  1. 利用者は、Fugaku-LLMを用いた処理の結果物（以下「処理結果」という）には、虚偽や偏り、他人の権利を侵害する内容、または利用者の想定する有効性や有用性を満たさない内容が含まれている場合があることを承諾し、不正確・不適切な処理結果により、自ら又は第三者の損害や権利侵害の発生、倫理的懸念が起こり得るという前提に立ちFugaku-LLMを利用するものとします。利用者は、処理結果の正誤や適法性、倫理的妥当性を自ら確認の上、利用するものとします。利用者が処理結果を含めFugaku-LLMを用いたことにより、利用者自身又は第三者の権利侵害を発生させた場合、開発者はその損害に対して一切の責任を負わないものとし、利用者は開発者に対し一切の迷惑を掛けないものとします。
  2. 利用者は処理結果について、それぞれの国や地域において法令などの規制を順守した上で利用ものとします。
  3. 利用者は、処理結果を第３条（禁止事項）に記載の行為に利用しないものとします。

• 第５条（権利帰属等）

  1. 利用者は、本利用規約で明示で定めるものを除きFugaku-LLMに関する一切の権利を取得することはありません。
  2. 利用者は、Fugaku-LLM改変物の作成によって新たに発生した権利を取得しますが、改変物の利用に当たっては本利用規約に従って利用するものとします。
  3. 開発者は処理結果について、権利主張を行わないものとします。

• 第６条（輸出取引） 利用者は、Fugaku-LLMおよび処理結果の利用に関連して外国為替及び外国貿易法（これに関連する政省令を含む）または米国輸出管理法令で規定する許可が必要な輸出を行うときは、利用者自らが所定の許可を取得するものとします。

• 第７条（管轄裁判所） 本利用規約に関し生じた紛争については、東京地方裁判所をもって第一審の専属的合意管轄裁判所とします。

• 第８条（準拠法） 本利用規約は日本法に準拠します。

• 第９条（その他の規定） 本規約は、Fugaku-LLMの利用者と開発者との間の利用に関する全ての事項を定めるものであり、本規約に定めのない事項については、関係法令に従うものとします。

• 第１０条（言語） 本規約は日本語を正本とします。本規約の英訳版は、参考のために作成されたものであり、何らの法的拘束力もないものとします。

⚠️ 重要提示

Fugaku-LLMを用いた処理結果には、虚偽や偏り、他人の権利を侵害する内容、または利用者の想定する有効性や有用性を満たさない内容が含まれている場合があります。

💡 使用建议

利用者は、処理結果の正誤や適法性、倫理的妥当性を自ら確認の上、利用することをおすすめします。

謝辞

この成果は、スーパーコンピュータ「富岳」政策対応枠「富岳における大規模言語モデルの分散学習手法の開発」に基づくものです。

著者

• 東京工業大学
• 東北大学
• 富士通株式会社
• 国立研究開発法人理化学研究所
• 名古屋大学
• 株式会社サイバーエージェント
• 株式会社Kotoba Technologies