madlad400-8b-lmオープンソース多言語処理モデル - 200種以上の言語をサポートし、多様なNLPタスクに対応

ホーム

Madlad400 8b Lm

jbochiによって開発

200以上の言語をサポートする多言語処理モデルで、さまざまな自然言語処理タスクに適しています。

大規模言語モデル複数言語対応オープンソースライセンス:Apache-2.0 #多言語サポート #グローバルアプリケーション #言語横断理解

ダウンロード数 71

リリース時間 : 11/8/2023

モデル概要

このモデルは強力な多言語処理ツールで、英語、中国語、フランス語、ドイツ語など多くの言語のテキスト理解と生成タスクを処理できます。

モデル特徴

広範な言語サポート

200以上の言語をサポートし、世界の主要言語と多くの少数民族言語をカバーしています。

オープンソースライセンス

Apache 2.0ライセンスを採用しており、商用利用と改変が可能です。

マルチタスク処理能力

翻訳、テキスト生成、感情分析など、さまざまな自然言語処理タスクを実行できます。

モデル能力

多言語テキスト理解

多言語テキスト生成

言語翻訳

感情分析

テキスト分類

使用事例

翻訳サービス

多言語ドキュメント翻訳

ドキュメントを1つの言語から複数の他の言語に翻訳

高品質な多言語相互翻訳をサポート

コンテンツ作成

多言語コンテンツ生成

さまざまな言語でマーケティングコンテンツや製品説明を生成

文化的習慣に合ったローカライズされたコンテンツを生成可能

カスタマーサポート

多言語チャットボット

複数言語をサポートするカスタマーサービスロボットを構築

異なる言語背景の顧客に同時にサービスを提供可能

🚀 Madlad-400 8Bパラメータ言語モデル

このモデルは、Madlad-400の8Bパラメータの言語モデル用のSafetensors重みを持っています。このモデルは、多言語のテキスト生成に役立ち、大規模な言語データセットを基に訓練されています。

🚀 クイックスタート

このモデルを使用して推論を実行するためのHF Transformersコードはまだ準備されていません。元の実装はJAX/Flaxformerで行われています。

✨ 主な機能

モデルアーキテクチャ

このモデルのアーキテクチャは、Palm 8Bと同じです。具体的には、32層、16個のクエリヘッド、1個のKVヘッド、および4096の埋め込みサイズを持つデコーダ専用のT5です。

主な相違点

元のT5アーキテクチャと比較した主な相違点は以下の通りです。

SwiGLU活性化関数
並列層
マルチクエリアテンション
RoPE埋め込み
入力と出力の共有埋め込み
バイアスなし
双方向アテンション
center_scale_at_zeroを持つレイヤー正規化とuse_scale=Falseを持つ最終レイヤー

利用可能なバージョン

言語モデルの利用可能なバージョンは以下の通りです。

📚 ドキュメント

論文

MADLAD-400: A Multilingual And Document-Level Large Audited Dataset

概要

我々は、CommonCrawlに基づく、419の言語にまたがる、手動で監査された一般ドメインの3Tトークンの単言語データセットであるMADLAD-400を紹介します。我々は、MADLAD-400の自己監査によって明らかになった制限と、データセットの作成プロセスにおけるデータ監査の役割について議論します。その後、公開されているデータを使用して、450以上の言語をカバーする2500億トークンで107億パラメータの多言語機械翻訳モデルを訓練して公開し、大幅に大きいモデルと競争力があることを見出し、さまざまなドメインでの結果を報告します。さらに、80億パラメータの言語モデルを訓練し、フェデレーション学習における翻訳の結果を評価します。我々は、ベースラインモデルを研究コミュニティに公開します。