# 低リソース言語最適化

GTE-Multilingual-Base は多言語文埋め込みモデルで、複数言語の文類似度計算をサポートします。

EMMA-500はLlama 2 7Bアーキテクチャに基づく多言語大規模言語モデルで、500以上の言語をサポートし、常識推論や機械翻訳などのタスクで優れた性能を発揮します。

これはNLLB-1.3bモデルを29のフィン・ウゴル語族言語の並列データで微調整したバージョンで、複数の方言/バリエーション生成をサポートします。

クメール語金融テキスト向けに最適化された感情分析モデル、ポジティブ/ネガティブ感情を分類可能

これはNVIDIA NeMoフレームワークを基に微調整されたバンバラ語自動音声認識モデルで、バンバラ語音声をテキストに変換するタスクに適しています。

whisper-large-v3を基に適応した音声認識モデルで、ウガンダ地域の複数言語に特化して最適化

Chitrarthは多言語視覚言語モデルで、視覚と言語を結びつけることを目的としており、特にインドの多様な言語のサポートに重点を置いています。

Fish Speech 1.5をファインチューニングしたウクライナ語専用音声合成モデルで、55人の話者の高品質音声生成をサポート

このモデルはfacebook/nllb-200-distilled-600Mをファインチューニングした英語からゾンカ語(Dzongkha)への翻訳モデルです

OpenAI Whisper-smallをファインチューニングしたウズベク語自動音声認識モデル、Common Voice 17.0データセットでトレーニング

高性能ウォロフ語オープンソース言語モデルの初版、Qwen 2.5アーキテクチャを基に構築、ウォロフ語と英語の双方向翻訳、テキスト生成などのタスクをサポート

フィッシュスピーチ V1.5は、100万時間以上の多言語音声データでトレーニングされた最先端のテキスト読み上げ（TTS）モデルです。

NLLB-200は200言語をサポートするニューラル機械翻訳モデルで、特に低リソース言語の翻訳品質に焦点を当てています。

NLLB-200は200言語をサポートするニューラル機械翻訳モデルで、低リソース言語の翻訳研究に焦点を当てています。

OpenLID-v2は高カバレッジで高性能な言語識別モデルで、200の言語バリアントをサポートし、OpenLIDの改良版です。

150以上の言語をサポートする多言語処理モデルで、さまざまな自然言語処理タスクに適しています。

Jina Embeddings V3 は100以上の言語をサポートする多言語文埋め込みモデルで、文の類似度と特徴抽出タスクに特化しています。

EXLMRはXLM-Rの拡張版で、トークナイザーの語彙テーブルを拡張して新規言語をサポートし、未知語問題を緩和します。特にエチオピアの低リソース言語向けに最適化されています。

このモデルはfacebook/wav2vec2-xls-r-300mをIMaSC、Indic TTS Malayalam、OpenSLR Malayalamのトレーニングデータセットでファインチューニングしたバージョンで、マラヤーラム語の自動音声認識をサポートします。

HuBERTアーキテクチャに基づく自己教師あり音声モデルで、サハラ以南アフリカ地域の21言語に特化して最適化され、6万時間のトレーニングデータを使用

Poro 34Bチャット版はPoro 34Bを微調整したインストラクションフォローモデルで、フィンランド語と英語のバイリンガルインタラクションをサポートし、Silo AI、TurkuNLPグループ、HPLTが共同開発しました。

NusaBERT基本版はBERTアーキテクチャに基づく多言語エンコーダー言語モデルで、13種類のインドネシア地域言語をサポートし、複数のオープンソースコーパスで事前学習されています。

ヴァイキング33Bは330億パラメータの純粋デコーダーアーキテクチャのTransformerモデルで、フィンランド語、英語及び北欧諸言語の処理をサポートし、コード理解と生成能力も備えています。

AfroXLMR-large-76L は、拡張された XLM-R-large モデルを MLM（マスク言語モデリング）適応させることで作成され、アフリカで広く使用されている76言語（うち4言語は高リソース言語）をカバーしています。

ヴァイキング13Bは130億パラメータの多言語大規模モデルで、フィンランド語、英語及び北欧諸言語をサポートし、コード処理能力を備えています

ヴァイキング7Bは70億パラメータのTransformerモデルで、フィンランド語、北欧言語およびプログラミングコードの処理に特化し、2兆トークンのトレーニングを基にしています。

Aya 101は101言語の命令をサポートする大規模多言語生成型言語モデルで、様々な評価で同類のモデルを上回っています。

NLLB-MoEはMetaが開発した混合専門家機械翻訳モデルで、200言語をサポートし、現在最も先進的なオープンアクセス機械翻訳モデルの一つです。

GPT2アーキテクチャに基づくミャンマー語言語モデルで、ミャンマー語の理解と生成をサポート

GPT-SW3はAIスウェーデンによって開発された大規模な北欧言語モデルで、5つの北欧言語と英語のテキスト生成タスクをサポートします。

100以上の言語をサポートする汎用言語モデルで、さまざまな自然言語処理タスクに適しています。

100以上の言語をサポートする多言語処理モデルで、さまざまな自然言語処理タスクに適しています。

200以上の言語をサポートする多言語処理モデルで、さまざまな自然言語処理タスクに適しています。

これは150以上の言語をサポートする汎用モデルで、さまざまな自然言語処理タスクに適しています。

wav2vec2ベースの音声認識モデルで、アムハラ語向けに音素レベルで微調整されています

NLLB-CLIPはNLLBモデルのテキストエンコーダとCLIP画像エンコーダを統合した多言語視覚言語モデルで、201言語をサポートしています。

NLLB-CLIPはNLLBテキストエンコーダーとCLIP画像エンコーダーを統合した多言語視覚言語モデルで、201言語をサポート

Meta社が開発したクレオール語テキスト読み上げモデルで、VITSエンドツーエンドアーキテクチャを採用し、高品質な音声合成をサポート

Meta社が開発したサモア語テキスト読み上げモデル、VITSアーキテクチャに基づき、高品質な音声合成をサポート

mGPT-XL (1.3B)を基にしたカザフ語言語モデル、13億パラメータを保有し、カザフ語に最適化されたトレーニングを実施