# 20億パラメータ

マイクロソフトリサーチが開発した初のオープンソース20億パラメータ規模のネイティブ1ビット大規模言語モデル。4兆トークンのコーパスでトレーニングされ、ネイティブ1ビット大規模言語モデルが同規模のフル精度オープンソースモデルと同等の性能を維持しながら、計算効率を大幅に向上させることを証明しました。

Salesforce研究所が開発した汎用型埋め込みモデルで、多言語・多タスクのコードとテキスト検索に適しており、多くのコード検索タスクで優れた性能を発揮します。