Bloom 350m

🚀 BLOOM LM

大科學開放科學、開放訪問的多語言大語言模型，助力公共研究探索語言生成新可能

🚀 快速開始

此部分文檔未提供快速開始的相關內容，但你可以按照以下指引進一步瞭解和使用該模型：

1. 閱讀模型詳情，瞭解模型的基本信息、技術規格、環境影響等。
2. 查看使用說明，明確模型的預期用途、誤用和超出範圍的使用情況。
3. 參考訓練數據，瞭解模型訓練所使用的數據。
4. 關注風險和侷限性，知悉模型可能存在的問題。
5. 查看評估結果，瞭解模型的性能指標。
6. 遵循使用建議，確保正確、安全地使用模型。

✨ 主要特性

• 多語言支持：支持多種自然語言和編程語言，包括但不限於英語、法語、中文、日語、韓語等，以及Java、Python、C++等編程語言。
• 開放科學與開放訪問：由BigScience團隊開發，所有協作者均為志願者或與僱主達成協議，旨在推動大語言模型的公共研究。
• 基於Transformer架構：採用基於Transformer的語言模型架構，具有強大的語言理解和生成能力。
• 靈活應用：可用於文本生成、探索語言模型生成語言的特徵，也可作為預訓練基礎模型，進一步微調用於特定任務，如信息提取、問答、摘要等。

📚 詳細文檔

模型詳情

基礎信息

• 開發團隊：BigScience（官網）
• 模型類型：基於Transformer的語言模型
• 版本：1.0.0
• 支持語言：多種；詳見訓練數據
• 許可證：RAIL許可證v1.0（鏈接）
• 預計發佈日期：2022年7月11日（週一）
• 諮詢郵箱：bigscience-contact@googlegroups.com
• 引用方式：BigScience, BigScience Language Open-science Open-access Multilingual (BLOOM) Language Model. International, May 2021 - May 2022
• 資助方：
  • 法國政府
  • Hugging Face（官網）
  • 貢獻者所在組織（各組織詳情待補充）

技術規格

請參考BLOOM訓練README以獲取訓練復現的完整細節。

• 模型架構：基於Megatron - LM GPT2修改（詳見論文，BLOOM Megatron代碼）：
  • 僅解碼器架構
  • 對詞嵌入層應用層歸一化（StableEmbedding；詳見代碼，論文）
  • ALiBI位置編碼（詳見論文），使用GeLU激活函數
  • 3.5億參數：
    • 24層，16個注意力頭
    • 隱藏層維度為1024
    • 使用2048個標記的序列長度（詳見BLOOM分詞器，分詞器描述）
• 目標函數：交叉熵損失（詳見API文檔）
• 計算基礎設施：由法國政府提供的Jean Zay公共超級計算機（詳見公告）：
  • 硬件：384個A100 80GB GPU（48個節點）：
    • 額外32個A100 80GB GPU（4個節點）作為備用
    • 每個節點8個GPU，使用NVLink 4 GPU間連接，4條OmniPath鏈路
    • CPU：AMD
    • 每個節點CPU內存：512GB
    • 每個節點GPU內存：640GB
    • 節點間連接：Omni - Path架構（OPA）
    • NCCL通信網絡：專用子網
    • 磁盤IO網絡：與其他類型節點共享網絡
  • 軟件：
    • Megatron - DeepSpeed（Github鏈接）
    • DeepSpeed（Github鏈接）
    • PyTorch（pytorch - 1.11 w/ CUDA - 11.5；詳見Github鏈接）
    • apex（Github鏈接）

訓練信息

• 訓練日誌：Tensorboard鏈接
• 檢查點大小：
  • Bf16權重：329GB
  • 包含優化器狀態的完整檢查點：2.3TB
• 訓練吞吐量：約每個GPU每秒150 TFLOP
• 訓練輪數：1（當前目標）
• 訓練時間：
  • 開始時間：2022年3月11日上午11:42（太平洋標準時間）
  • 預計結束時間：2022年7月5日
• 預計訓練成本：相當於200 - 500萬美元的雲計算費用（包括初步實驗）
• 服務器訓練地點：法國法蘭西島

分詞器

BLOOM分詞器（鏈接）是一個學習型子詞分詞器，使用以下方法訓練：

• 字節級字節對編碼（BPE）算法
• 簡單的預分詞規則，無歸一化
• 詞彙表大小為250,680 它在語料庫的一個初步版本的子集上使用每種語言的alpha加權進行訓練。

環境影響

訓練用超級計算機Jean Zay（官網）主要使用核能，其產生的熱量用於校園住房供暖。

• 預計碳排放：（訓練完成後提供）
• 預計用電量：（訓練完成後提供）

使用說明

預期用途

本模型旨在推動大語言模型（LLM）的公共研究。LLM可用於語言生成，或作為預訓練基礎模型，進一步微調用於特定任務。以下使用案例並非詳盡無遺。

• 直接使用：
  • 文本生成
  • 探索語言模型生成語言的特徵，例如完形填空測試、反事實情況、重新構建的生成
• 下游使用：
  • 利用語言模型的任務包括：信息提取、問答、摘要

誤用和超出範圍的使用

請參閱BLOOM許可證附件A以獲取詳細的使用限制。以下列表並非詳盡無遺，但列出了一些容易預見的有問題的使用案例。

• 超出範圍的使用：
  • 在高風險環境中使用本模型超出了其適用範圍。該模型並非為關鍵決策設計，也不適用於對個人生計或福祉有重大影響的使用場景。模型輸出的內容可能看似事實，但並不正確。
  • 超出範圍的使用包括：
    • 在生物醫學、政治和法律、金融領域使用
    • 用於評估或評分個人，例如就業、教育或信用評估
    • 用於關鍵自動決策、生成事實內容、創建可靠摘要或生成必須正確的預測
• 誤用：
  • 故意使用模型造成傷害、違反人權或進行其他惡意活動，均屬於對本模型的誤用。這包括：
    • 垃圾郵件生成
    • 虛假信息和影響操作
    • 詆譭和誹謗
    • 騷擾和虐待
    • 欺騙
    • 未經同意的模仿和假冒
    • 未經同意的監視
    • 未按照RAIL許可證使用限制對模型進行歸因的內容生成

預期用戶

• 直接用戶：
  • 普通公眾
  • 研究人員
  • 學生
  • 教育工作者
  • 工程師/開發者
  • 非商業實體
  • 社區倡導者，包括人權和公民權利組織
• 間接用戶：
  • 使用直接用戶創建的衍生產品的用戶，例如使用具有預期用途的軟件的用戶
  • 使用許可證中描述的模型衍生產品的用戶
• 其他受影響方：
  • 大語言模型提及的個人和群體
  • 接觸大語言模型輸出內容或基於其決策的個人和群體
  • 其原創作品被納入大語言模型的個人和群體

訓練數據

每個數據集的詳細信息請參閱各個數據卡片。

• 訓練數據包括：
  • 45種自然語言
  • 12種編程語言
  • 1.5TB預處理文本，轉換為3500億個唯一標記（詳見分詞器部分）

自然語言分佈

以下表格展示了訓練數據中尼日爾 - 剛果語系和印度語系語言的進一步分佈情況：

編程語言分佈

風險和侷限性

模型可能存在以下問題：

• 過度代表某些觀點，而對其他觀點代表不足
• 包含刻板印象
• 包含個人信息
• 生成：
  • 仇恨、辱罵或暴力語言
  • 歧視性或偏見性語言
  • 可能不適用於所有場景的內容，包括色情內容
• 出現錯誤，包括輸出看似事實但不正確的信息
• 生成無關或重複的輸出

評估

評估指標

針對特定任務還有多種不同的指標。（評估協議完成後將提供更多評估指標。）

影響因素

• 語言，例如英語或約魯巴語
• 領域，例如新聞專線或故事
• 人口統計學特徵，例如性別或國籍

評估結果

訓練時評估：截至2022年5月25日15:00（太平洋標準時間）：

• 訓練損失：2.0
• 驗證損失：2.2
• 困惑度：8.9

（模型訓練結束後將提供更多評估分數。）

使用建議

• 間接用戶在處理由大語言模型生成的內容時應被告知。
• 用戶應瞭解風險和侷限性，並根據需要包含適當的年齡聲明或屏蔽界面。
• 使用大語言模型預訓練的模型應包含更新的模型卡片。
• 模型用戶應提供受影響者反饋的機制，例如用於評論的電子郵件地址。

術語表和計算方法

• 損失：計算模型學習內容與數據顯示內容（“真實情況”）之間的差異。損失越低越好。訓練過程旨在最小化損失。
• 困惑度：基於模型對新數據概率的估計。困惑度越低越好。如果模型在預測下一個標記時100%正確，則困惑度為1。數學上通過熵計算。
• 高風險環境：例如歐盟提議的人工智能（AI）法案中確定的“高風險AI系統”和“不可接受風險AI系統”。
• 關鍵決策：例如美國提議的算法問責法案中定義的決策。
• 人權：包括世界人權宣言中定義的權利。
• 個人數據和個人信息：個人數據和信息在多個數據保護法規中定義，例如歐盟通用數據保護條例中的“個人數據”；南非共和國個人信息保護法中的“個人信息”；中華人民共和國個人信息保護法。
• 欺騙：故意誤導個人相信虛假內容，例如在社交媒體上創建偽裝成真人的殭屍機器人或聊天機器人，或在未讓消費者知曉文本是機器生成的情況下生成文本文檔。

更多信息

• 數據集創建：詳細介紹數據集創建過程中設計選擇的博客文章：https://bigscience.huggingface.co/blog/building-a-tb-scale-multilingual-dataset-for-language-modeling
• 技術規格：
  • 總結架構、大小、形狀和預訓練時長選擇的博客文章：https://bigscience.huggingface.co/blog/what-language-model-to-train-if-you-have-two-million-gpu-hours
  • 架構/優化器的更多詳細信息：https://github.com/bigscience-workshop/bigscience/tree/master/train/tr11-176B-ml
  • 硬件/工程方面的博客文章：https://bigscience.huggingface.co/blog/which-hardware-to-train-a-176b-parameters-model
  • 訓練使用的分佈式設置詳情：https://github.com/bigscience-workshop/bigscience/tree/master/train/tr11-176B-ml
  • 訓練期間更新的Tensorboard：https://huggingface.co/bigscience/tr11-176B-ml-logs/tensorboard#scalars&tagFilter=loss
  • 訓練方法和負面結果的見解：https://github.com/bigscience-workshop/bigscience/blob/master/train/lessons-learned.md
  • 工程準備過程中克服障礙的詳情（不穩定性、訓練吞吐量優化等眾多技術技巧和問題）：https://github.com/bigscience-workshop/bigscience/tree/master/train/tr11-176B-ml

📄 許可證

本模型使用RAIL許可證v1.0，詳情請見鏈接。