# 低困惑度

DUO是一個用於文本生成的預訓練模型，可用於掩碼語言建模任務，在OpenWebText語料庫上進行訓練，具有良好的性能。

採用閃存線性注意力（flash-linear attention）格式的RWKV-7模型，支持英語文本生成任務。

適配llama.cpp的中文LLaMA-2-7B模型的GGUF-v3版本文件

專為烏茲別克語設計的13億參數語言模型，基於mGPT-XL (1.3B)深度調優

蒙古語 mGPT 1.3B 是專門為蒙古語設計的13億參數語言模型，支持蒙古語相關的自然語言處理任務。

OpenCALM是由CyberAgent公司開發的基於日語數據集預訓練的僅解碼器語言模型系列中的3B參數版本。

mGPT 13B 是一個多語言語言模型，支持61種語言，覆蓋25個語系，基於600GB文本數據訓練，具有強大的多語言處理能力。

首個也是唯一可用的古希臘語子詞BERT模型，在詞性標註和形態分析任務上達到最先進的微調後性能。

這是一個使用Flax框架從零開始在large_spanish_corpus（BETO語料庫）上訓練的西班牙語GPT-2模型，由HuggingFace社區周活動支持開發。

基於GPT-2架構的泰語因果語言模型，在OSCAR數據集上訓練

這是一個從頭開始訓練的GPT2大型模型（7.62億參數），專注於荷蘭語，在純淨荷蘭語mC4上的困惑度為15.1。

基於烏克蘭小說訓練的GPT-2語言模型，參數規模124M，專門用於烏克蘭語文本生成

基於mC4數據集的孟加拉語GPT-2模型，用於文本生成任務

基於BERT架構的馬來語掩碼語言模型，使用OSCAR數據集的馬來語子集訓練，支持PyTorch和TensorFlow框架。

SanBERTa是基於梵文訓練的RoBERTa模型，專門用於處理梵文文本任務。

GPT-fr是由Quantmetry和Laboratoire de Linguistique Formelle (LLF)開發的法語GPT模型，在大量多樣的法語語料庫上訓練而成。

基於GPT-2架構的大規模俄語預訓練Transformer語言模型，由SberDevices團隊訓練

這是一個基於GPT2-Small英語模型的微調版本，使用土耳其語維基百科文章進行訓練，適用於土耳其語文本生成任務。

基於bert-base-uncased微調的文本處理模型，在未知數據集上訓練，驗證損失2.4969，困惑度12.14

基於海量芬蘭語文本預訓練的3.45億參數GPT-2模型，擅長芬蘭語文本生成