# 跨語言預訓練

針對高棉語金融文本優化的情感分析模型，可分類積極/消極情感

ERNIE-Code是一個統一的大型語言模型，連接了116種自然語言和6種編程語言，支持多種跨語言任務。

基於 Transformers 庫的圖像分割模型，支持多種圖像分割任務。

基於wav2vec 2.0大型XLSR-53檢查點微調的盧森堡語語音識別模型，使用842小時未標註和14小時標註數據訓練，並集成5-gram語言模型

基於842小時未標註和14小時標註盧森堡語語音數據微調的wav2vec2.0大模型，支持盧森堡語語音識別

InfoXLM是一種基於信息論的跨語言預訓練框架，旨在通過最大化跨語言任務中的互信息來提升模型性能。

InfoXLM 是一個基於信息理論的跨語言預訓練框架，旨在通過最大化不同語言之間的互信息來提升跨語言表示學習的效果。

XLSR-Wav2Vec2是一個多語言語音識別模型，通過跨語言預訓練學習共享語音表徵，支持53種語言。

這是一個基於XLSR-Wav2Vec2架構的希臘語自動語音識別模型，由希臘軍事學院和克里特技術大學開發。

面向中國少數民族語言的多語言預訓練模型，支持中文及7種少數民族語言

基於韓語和英語預訓練的T5模型，支持跨語言知識驅動的響應生成

XLM-mlm-enfr-1024是基於英語-法語掩碼語言建模目標預訓練的Transformer模型，支持跨語言任務。

XLM-mlm-ende-1024是基於掩碼語言建模(MLM)目標預訓練的英語-德語Transformer模型，使用語言嵌入來指定推理語言。

基於842小時未標註和4小時標註盧森堡語音數據微調的自動語音識別模型

基於掩碼語言建模目標預訓練的英語-羅馬尼亞語Transformer模型，使用語言嵌入指定推理語言

XLM是基於英語文本訓練的掩碼語言模型，採用BERT風格的MLM目標進行預訓練，支持英語語言處理任務。

基於因果語言建模目標預訓練的英德雙語Transformer模型

XLM模型是一個基於因果語言建模目標預訓練的英法雙語Transformer模型，由Guillaume Lample和Alexis Conneau提出。