Fugaku LLM 13B

🚀 Fugaku-LLM

Fugaku-LLM 模型是一款使用超級計算機“富嶽”從零開始預訓練的國產模型。該模型具有高度的透明度和安全性，因為它是使用我們自己的數據從零開始訓練的。訓練數據主要由日語數據組成，因此該模型在日語處理方面表現出色。

此模型由 Fugaku-LLM 開發。其他模型的鏈接可在索引中找到。

🚀 快速開始

Fugaku-LLM 模型索引

模型詳情

模型性能

指令微調模型

我們按照與 [Nejumi LLM Leaderboard Neo](https://wandb.ai/wandb - japan/llm - leaderboard/reports/Nejumi - LLM - Neo--Vmlldzo2MTkyMTU0) 相同的方式，通過日語機器翻譯基準對我們的模型進行了評估。我們僅對 Fastchat 代碼的以下部分進行了修改：

• 在為輸入提示調用分詞器時添加 "add_special_tokens=False"
• 將生成的令牌數量限制在 2048 以內

💻 使用示例

基礎用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "Fugaku-LLM/Fugaku-LLM-13B"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype=torch.bfloat16, device_map="auto")
model.eval()

prompt = "スーパーコンピュータ「富嶽」という名稱は"

input_ids = tokenizer.encode(prompt,
                             add_special_tokens=False,
                             return_tensors="pt")
tokens = model.generate(
    input_ids.to(device=model.device),
    max_new_tokens=128,
    do_sample=True,
    temperature=0.1,
    top_p=1.0,
    repetition_penalty=1.0,
    top_k=0
)
out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)

高級用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "Fugaku-LLM/Fugaku-LLM-13B-instruct"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype=torch.bfloat16, device_map="auto")
model.eval()

system_example = "以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。"
instruction_example = "スーパーコンピュータ「富嶽」の名前の由來を教えてください。"

prompt = f"{system_example}\n\n### 指示:\n{instruction_example}\n\n### 応答:\n"

input_ids = tokenizer.encode(prompt,
                             add_special_tokens=False,
                             return_tensors="pt")
tokens = model.generate(
    input_ids.to(device=model.device),
    max_new_tokens=128,
    do_sample=True,
    temperature=0.1,
    top_p=1.0,
    repetition_penalty=1.0,
    top_k=0
)
out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)

訓練數據集

指令微調

• [oasst1](https://huggingface.co/datasets/llm - jp/oasst1 - 21k - ja)
• [databricks - dolly - 15k](https://huggingface.co/datasets/llm - jp/databricks - dolly - 15k - ja)
• gsm8k

📄 許可證

Fugaku-LLM 使用條款可在 LICENSE 和 LICENSE_ja 文件中查看。

風險與限制

使用 Fugaku-LLM 進行處理的結果可能包含虛假信息、偏差、侵犯他人權利的內容，或者不符合用戶預期的有效性和實用性的內容。

致謝

本成果基於超級計算機“富嶽”的政府主導項目“富嶽上大語言模型分佈式訓練方法的開發”。

作者

• 東京工業大學
• 東北大學
• 富士通有限公司
• 理化學研究所
• 名古屋大學
• CyberAgent 株式會社
• Kotoba Technologies 株式會社

Fugaku-LLM 使用條款

一、定義

本使用條款（以下簡稱“本條款”）規定了由富士通有限公司、國立研究開發法人理化學研究所、國立大學法人東京工業大學、國立大學法人東北大學、株式會社 CyberAgent、國立大學法人東海國立大學機構以及株式會社 Kotoba Technologies Japan（以下簡稱“開發者”）在超級計算機“富嶽”政策對應框架內開發大規模語言模型分佈式並行學習方法所產生並公開的大規模語言模型（以下簡稱“Fugaku-LLM”）的使用條件。Fugaku-LLM 的使用者（以下簡稱“使用者”）應在同意本條款的基礎上使用 Fugaku-LLM。

二、使用許可

1. Fugaku-LLM 的使用者可根據本條款，將 Fugaku-LLM 用於商業或非商業目的。此處的“使用”包括但不限於對 Fugaku-LLM 的修改、複製和再分發，以及使用 Fugaku-LLM 或對其進行修改後創建的大規模語言模型（以下簡稱“修改物”）實施服務。
2. 使用者在再分發 Fugaku-LLM 或修改物時的許可證，或使用 Fugaku-LLM 或修改物提供服務的使用條款中，必須包含本使用條款。此外，使用者在再分發修改物時，必須明確註明自己進行了修改。違反本條款的使用者不得使用 Fugaku-LLM。

三、責任

1. 使用者預先同意，Fugaku-LLM 按現狀提供，開發者無論明示或暗示，均不對 Fugaku-LLM 的準確性、完整性、時效性和質量等作出任何保證，且不對使用者使用或無法使用 Fugaku-LLM 所產生的任何損害承擔責任。
2. 若因使用者使用 Fugaku-LLM 或違反本使用條款而導致開發者遭受損害，使用者應賠償該損害。
3. 使用者應自行承擔使用 Fugaku-LLM 的責任和判斷，對於因使用 Fugaku-LLM 與第三方產生的糾紛，應自行承擔責任和費用進行處理，不得給開發者帶來任何困擾。使用者應自行承擔因使用 Fugaku-LLM 產生的損害。

四、禁止行為

使用者在使用 Fugaku-LLM 時不得進行以下行為：

1. 侵犯開發者或第三方知識產權的行為，或有侵犯風險的行為。
2. 侵犯開發者或第三方財產、隱私或肖像權的行為，或有侵犯風險的行為。
3. 歧視、誹謗、侮辱開發者或第三方，助長對他人的歧視，或損害他人名譽或信譽的行為。
4. 從事未經許可的法律業務，或由無資格專業人員提供法律建議的行為。
5. 由無資格專業人員提供財務建議的行為。
6. 包括提供健康建議或治療方法等在內的醫療行為。
7. 其他法律法規要求許可等的行為。

五、限制事項

1. 使用者承認，使用 Fugaku-LLM 進行處理的結果（以下簡稱“處理結果”）可能包含虛假信息、偏差、侵犯他人權利的內容，或不符合使用者預期的有效性和實用性的內容，並同意在不準確或不適當的處理結果可能導致使用者或第三方損害、權利侵犯和/或倫理問題的前提下使用 Fugaku-LLM。使用者應自行確認處理結果的準確性、合法性和倫理有效性後再使用。若使用者使用 Fugaku-LLM（包括處理結果）導致自身或第三方權利侵犯，開發者不承擔任何損害責任，使用者不得給開發者帶來任何困擾。
2. 使用者應在遵守各國和地區法律法規等規定的前提下使用處理結果。
3. 使用者不得將處理結果用於本條款第三條（禁止行為）所述的行為。

六、權利歸屬等

1. 除本使用條款明確規定的內容外，使用者不得獲得與 Fugaku-LLM 相關的任何權利。
2. 使用者因創建 Fugaku-LLM 修改物而獲得新產生的權利，但在使用修改物時應遵守本使用條款。
3. 開發者不對處理結果主張權利。

七、出口交易

若使用者在使用 Fugaku-LLM 和處理結果時涉及根據《外匯及外貿法》（包括相關政令和省令）或美國出口管制法律法規需要許可的出口行為，應自行獲得規定的許可。

八、管轄法院

因本使用條款產生的糾紛，以東京地方裁判所為第一審專屬合意管轄法院。

九、適用法律

本使用條款適用日本法律。

十、其他規定

本條款規定了使用者與開發者之間關於 Fugaku-LLM 使用的所有事項，本條款未規定的事項應遵循相關法律法規。

十一、語言

本條款以日語為正本。英文翻譯僅供參考，不具有任何法律效力。