xlm - roberta - longformer - base - 16384オープンソース多言語モデル - 長文脈をサポートした下流タスクの微調整

ホーム

Xlm Roberta Longformer Base 16384

severinsimmlerによって開発

XLM-RoBERTaの重みで初期化された多言語版Longformerモデルで、16384のコンテキスト長をサポートし、下流タスクの微調整に適しています。

大規模言語モデル

Transformers

オープンソースライセンス:MIT #多言語長文処理 #16384コンテキストウィンドウ #RoBERTaアーキテクチャ移行

ダウンロード数 5,438

リリース時間 : 4/20/2023

モデル概要

このモデルはXLM-RoBERTaとLongformerアーキテクチャの組み合わせで、多言語処理をサポートし、特に長文処理が必要なタスクに適しています。

モデル特徴

多言語サポート

100以上の言語をサポートし、多言語自然言語処理タスクに適しています。

長文処理

Longformerアーキテクチャに基づき、16384のコンテキスト長をサポートし、長文ドキュメントの処理に適しています。

XLM-RoBERTaベース

XLM-RoBERTaの重みで初期化されており、その強力な多言語表現能力を継承しています。

モデル能力

テキスト分類

質問応答

固有表現認識

長文処理

多言語テキスト分析

使用事例

自然言語処理

多言語ドキュメント分類

多言語の長文ドキュメントを分類します。

クロスランゲージ質問応答システム

複数言語をサポートする質問応答システムを構築します。

🚀 xlm-roberta-longformer-base-16384

「xlm - roberta - longformer」は、事前学習を行わずに[XLM - RoBERTa](https://huggingface.co/xlm - roberta - base)の重みで初期化された多言語版のLongformerです。下流タスクでの微調整を目的としています。このREADMEは、[hyperonym/xlm - roberta - longformer - base - 16384](https://huggingface.co/hyperonym/xlm - roberta - longformer - base - 16384)のPyTorchバージョンで、一切の変更なしで提供されています。

🚀 クイックスタート

⚠️ これは、[hyperonym/xlm - roberta - longformer - base - 16384](https://huggingface.co/hyperonym/xlm - roberta - longformer - base - 16384)のPyTorchバージョンで、一切の変更なしで提供されています。

xlm - roberta - longformer は、事前学習を行わずに[XLM - RoBERTa](https://huggingface.co/xlm - roberta - base)の重みで初期化された多言語版のLongformerです。下流タスクでの微調整を目的としています。

モデルを再現するためのノートブックはGitHubで入手可能です: https://github.com/hyperonym/dirge/blob/master/models/xlm - roberta - longformer/convert.ipynb

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

属性	详情
モデルタイプ	xlm - roberta - longformer - base - 16384
言語	多言語（af, am, ar, as, az, be, bg, bn, br, bs, ca, cs, cy, da, de, el, en, eo, es, et, eu, fa, fi, fr, fy, ga, gd, gl, gu, ha, he, hi, hr, hu, hy, id, is, it, ja, jv, ka, kk, km, kn, ko, ku, ky, la, lo, lt, lv, mg, mk, ml, mn, mr, ms, my, ne, nl, no, om, or, pa, pl, ps, pt, ro, ru, sa, sd, si, sk, sl, so, sq, sr, su, sv, sw, ta, te, th, tl, tr, ug, uk, ur, uz, vi, xh, yi, zh）

⚠️ 重要提示

これは、[hyperonym/xlm - roberta - longformer - base - 16384](https://huggingface.co/hyperonym/xlm - roberta - longformer - base - 16384)のPyTorchバージョンで、一切の変更なしで提供されています。