🚀 BigScience Large Open-science Open-access Multilingual Language Model
BigScienceによる大規模なオープンサイエンス、オープンアクセスの多言語言語モデルで、大量のテキストデータからコヒーレントなテキストを生成できます。
バージョン1.3 / 2022年7月6日
現在のチェックポイント: Training Iteration 95000
論文へのリンク: こちら
合計参照トークン数: 366B
🚀 クイックスタート
BLOOMは、産業規模の計算資源を用いて大量のテキストデータからプロンプトに続くテキストを生成するように訓練された自己回帰型の大規模言語モデル（LLM）です。これにより、46の自然言語と13のプログラミング言語で人間が書いたようなコヒーレントなテキストを出力することができます。また、明示的に訓練されていないテキストタスクも、テキスト生成タスクとして実行するよう指示することができます。
✨ 主な機能
- 46の自然言語と13のプログラミング言語でのテキスト生成が可能
- 明示的に訓練されていないテキストタスクも実行可能
📚 ドキュメント
基本情報
このセクションでは、モデルのタイプ、バージョン、ライセンス、資金提供元、リリース日、開発者、および連絡先に関する情報を提供します。モデルを参照する必要がある人に役立ちます。
クリックして展開
開発者: BigScience (ウェブサイト)
すべての協力者はボランティアか、雇用主との契約を持っています。（参加者の詳細は後日公開予定）
モデルタイプ: Transformerベースの言語モデル
チェックポイント形式: transformers（Megatron-DeepSpeed形式はこちらで入手可能）
バージョン: 1.0.0
言語: 複数; 訓練データを参照
ライセンス: RAIL License v1.0 (リンク / 記事とFAQ)
リリース日予定: 2022年7月11日（月曜日）
質問先: bigscience-contact@googlegroups.com
引用形式: BigScience, BigScience Language Open-science Open-access Multilingual (BLOOM) Language Model. International, May 2021-May 2022
資金提供元:
- フランス政府
- Hugging Face (ウェブサイト)
- 協力者の組織 (組織の詳細は後日公開予定)
技術仕様
このセクションには、モデルの目的とアーキテクチャ、および計算インフラストラクチャに関する詳細が含まれています。モデル開発に興味がある人に役立ちます。
クリックして展開
訓練の再現に関する詳細は、BLOOM訓練READMEを参照してください。
モデルアーキテクチャと目的
- Megatron-LM GPT2から変更されたもの（論文、BLOOM Megatronコードを参照）
- デコーダーのみのアーキテクチャ
- 単語埋め込み層に適用されるレイヤー正規化 (
StableEmbedding; コード、論文を参照)
- ALiBI位置エンコーディング（論文を参照）、GeLU活性化関数
- 176,247,271,424パラメータ:
目的関数: 平均削減による交差エントロピー（APIドキュメントを参照）
計算インフラストラクチャ
フランス政府によって提供されるJean Zay公共スーパーコンピュータ（発表を参照）。
ハードウェア
- 384台のA100 80GB GPU（48ノード）
- 予備として追加の32台のA100 80GB GPU（4ノード）
- ノードあたり8台のGPU、NVLink 4インターGPU接続、4本のOmniPathリンク
- CPU: AMD
- CPUメモリ: ノードあたり512GB
- GPUメモリ: ノードあたり640GB
- ノード間接続: Omni-Path Architecture (OPA)
- NCCL通信ネットワーク: 完全に専用のサブネット
- ディスクIOネットワーク: 他のタイプのノードと共有のネットワーク
ソフトウェア
🔧 技術詳細
訓練
このセクションでは、訓練データ、訓練要素の速度とサイズ、および訓練の環境への影響に関する情報を提供します。モデルの入力と訓練の影響について詳しく知りたい人に役立ちます。
クリックして展開
訓練データ
このセクションでは、訓練データの概要を提供します。モデルが学習している内容の基本を知りたい人に関連します。
各データセットの詳細は、個々のデータカードで提供され、集約された訓練データへの各貢献のサイズは、インタラクティブコーパスマップで提示されています。
訓練データには以下が含まれます:
- 46の自然言語
- 13のプログラミング言語
- 1.6TBの前処理済みテキストが、350Bの一意のトークンに変換されたもの（詳細はトークナイザーセクションを参照）
言語
円グラフは、訓練データにおける言語の分布を示しています。
以下の表は、訓練データにおけるニジェール・コンゴ語族とインド語族の言語、およびプログラミング言語のさらなる分布を示しています。
ニジェール・コンゴ語族とインド語族の言語の分布。
| ニジェール・コンゴ語族 |
割合 |
|
インド語族 |
割合 |
| チ・タンブカ語 |
0.00002 |
|
アッサム語 |
0.01 |
| キクユ語 |
0.00004 |
|
オディア語 |
0.04 |
| バンバラ語 |
0.00004 |
|
グジャラート語 |
0.04 |
| アカン語 |
0.00007 |
|
マラーティー語 |
0.05 |
| シトンガ語 |
0.00007 |
|
パンジャーブ語 |
0.05 |
| セソト語 |
0.00007 |
|
カンナダ語 |
0.06 |
| チ・チェワ語 |
0.0001 |
|
ネパール語 |
0.07 |
| セツワナ語 |
0.0002 |
|
テルグ語 |
0.09 |
| リンガラ語 |
0.0002 |
|
マラヤーラム語 |
0.10 |
| 北ソト語 |
0.0002 |
|
ウルドゥー語 |
0.10 |
| フォン語 |
0.0002 |
|
タミル語 |
0.20 |
| キルンディ語 |
0.0003 |
|
ベンガル語 |
0.50 |
| ウォロフ語 |
0.0004 |
|
ヒンディー語 |
0.70 |
| ルガンダ語 |
0.0004 |
|
|
|
| チ・ショナ語 |
0.001 |
|
|
|
| ズールー語 |
0.001 |
|
|
|
| イボ語 |
0.001 |
|
|
|
| コサ語 |
0.001 |
|
|
|
| キニヤルワンダ語 |
0.003 |
|
|
|
| ヨルバ語 |
0.006 |
|
|
|
| スワヒリ語 |
0.02 |
|
|
|
プログラミング言語の分布。
| 拡張子 |
言語 |
ファイル数 |
| java |
Java |
5,407,724 |
| php |
PHP |
4,942,186 |
| cpp |
C++ |
2,503,930 |
| py |
Python |
2,435,072 |
| js |
JavaScript |
1,905,518 |
| cs |
C# |
1,577,347 |
| rb |
Ruby |
678,413 |
| cc |
C++ |
443,054 |
| hpp |
C++ |
391,048 |
| lua |
Lua |
352,317 |
| go |
GO |
227,763 |
| ts |
TypeScript |
195,254 |
| C |
C |
134,537 |
| scala |
Scala |
92,052 |
| hh |
C++ |
67,161 |
| H |
C++ |
55,899 |
| tsx |
TypeScript |
33,107 |
| rs |
Rust |
29,693 |
📄 ライセンス
このモデルは、RAIL License v1.0の下でライセンスされています。詳細はこちらと記事とFAQを参照してください。
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
Transformers 複数言語対応