Msmarco Query Encoder

Phi-2是微軟開發的一個小型但強大的語言模型，具有27億參數，專注於高效推理和高質量文本生成。

基於掩碼語言建模目標預訓練的大型英語語言模型，採用改進的BERT訓練方法

DistilBERT是BERT基礎模型的蒸餾版本，在保持相近性能的同時更輕量高效，適用於序列分類、標記分類等自然語言處理任務。

Meta Llama 3.1 8B Instruct 是一個多語言大語言模型，針對多語言對話用例進行了優化，在常見的行業基準測試中表現優異。

XLM-RoBERTa是基於100種語言的2.5TB過濾CommonCrawl數據預訓練的多語言模型，採用掩碼語言建模目標進行訓練。

基於Transformer架構的英語預訓練模型，通過掩碼語言建模目標在海量文本上訓練，支持文本特徵提取和下游任務微調

OPT是由Meta AI發佈的開放預訓練Transformer語言模型套件，參數量從1.25億到1750億，旨在對標GPT-3系列性能，同時促進大規模語言模型的開放研究。

基於transformers庫的預訓練模型，適用於多種NLP任務

Llama 3.1是Meta推出的多語言大語言模型系列，包含8B、70B和405B參數規模，支持8種語言和代碼生成，優化了多語言對話場景。

T5基礎版是由Google開發的文本到文本轉換Transformer模型，參數規模2.2億，支持多語言NLP任務。