# 大規模Transformer

基於人類參考基因組預訓練的5億參數Transformer模型，整合了3,200多個多樣化人類基因組和850個物種的DNA序列信息

Pythia-6.9B是EleutherAI開發的大規模語言模型，屬於Pythia可擴展套件的一部分，專為促進可解釋性研究而設計。

Meta AI推出的大規模多語言語音識別模型，支持60種語言，基於10億參數Transformer編碼器架構。

BigScience大型開放科學多語言語言模型，支持46種自然語言和12種編程語言

Meta AI推出的大規模多語言語音識別模型，具有10億參數，支持60種語言的字符級轉錄

這是一個用於從匈牙利語翻譯到英語的神經機器翻譯模型，屬於OPUS-MT項目的一部分。

用於從保加利亞語翻譯到英語的神經機器翻譯模型，基於OPUS-MT項目開發。

這是一個用於英語到立陶宛語翻譯的神經機器翻譯模型，屬於OPUS-MT項目的一部分。

這是一個從英語翻譯至東斯拉夫語族（包括白俄羅斯語、俄語、烏克蘭語）的神經機器翻譯模型，屬於OPUS-MT項目的一部分。

這是一個基於Transformer架構的大規模神經機器翻譯模型，專門用於將英語翻譯成芬蘭語。該模型是OPUS-MT項目的一部分，使用Marian NMT框架訓練，並通過Hugging Face的transformers庫提供。

XLM模型是基於17種語言文本訓練的跨語言預訓練模型，採用掩碼語言建模(MLM)目標

XLM模型是基於100種語言的維基百科文本訓練的跨語言語言模型，使用掩碼語言建模目標進行預訓練。