# 維基百科預訓練

基於google/gemma-2-9b基礎模型，使用土耳其語維基百科數據繼續預訓練的LoRA適配模型，提升土耳其文本處理能力

這是谷歌Gemma 2B模型的泰米爾語指令微調版本，支持英語和泰米爾語雙語文本生成。

NusaBERT基礎版是基於BERT架構的多語言編碼器語言模型，支持13種印度尼西亞地區語言，在多個開源語料庫上進行了預訓練。

基於掩碼語言建模（MLM）目標預訓練的多語言ALBERT模型，支持64k詞表大小，區分大小寫

基於日語維基百科預訓練的日本語BART大模型，適用於文本生成和自然語言處理任務。

這是一個基於日語維基百科預訓練的日語BART基礎模型，適用於自然語言處理任務。

基於日語維基百科、CC-100和OSCAR語料預訓練的日語DeBERTa V2基礎模型，適用於掩碼語言建模和下游任務微調。

基於RoBERTa架構的日語預訓練模型，支持自動Juman++分詞，適用於日語自然語言處理任務。

基於日語維基百科和青空文庫文本預訓練的DeBERTa(V2)模型，適用於日語文本處理任務

這是一個專為日語依存句法分析設計的BERT模型，用於檢測長單元詞的頭詞，採用問答形式實現。

這是一個經過日語預訓練的ALBERT模型，使用了BertJapaneseTokenizer作為分詞器，處理日語文本更加便捷。

mLUKE是LUKE的多語言擴展版本，支持24種語言的命名實體識別、關係分類和問答系統任務

mLUKE是LUKE的多語言擴展版本，支持24種語言的文本處理任務

SHerbert是基於波蘭語HerBERT模型的SentenceBERT實現，用於生成具有語義意義的句子嵌入，支持通過餘弦相似度比較句子相似度。

基於日語維基百科預訓練的BERT模型，採用Unidic詞典進行詞彙級分詞和整詞掩碼訓練

基於法語維基百科預訓練的ALBERT基礎模型，支持大小寫識別，適用於法語NLP任務。

mLUKE是LUKE的多語言擴展版本，支持24種語言的命名實體識別、關係分類和問答系統任務。

這是一個基於印尼語的小型RoBERTa模型，專門針對印尼語文本處理任務進行了優化。

基於日語維基百科預訓練的BERT模型，採用字符級分詞與全詞掩碼策略，適用於日語自然語言處理任務

基於日語文本預訓練的BERT模型，採用字符級分詞和全詞掩碼技術，適用於日語自然語言處理任務。

基於日語維基百科數據集訓練的BERT基礎模型，適用於日語文本的掩碼填充任務

這是一個基於XLM-R的sentence-transformers模型，專門針對泰語進行優化，能夠將句子和段落映射到768維的密集向量空間。

基於RoBERTa-base架構的印尼語預訓練模型，使用印尼語維基百科數據訓練，不區分大小寫。

基於日語維基百科預訓練的BERT大型模型，採用Unidic詞典分詞和全詞掩碼策略

一個為加利西亞語預訓練的BERT模型（12層，區分大小寫）。基於維基百科數據訓練

基於日語維基百科文本預訓練的BERT模型，使用IPA詞典進行詞語級分詞處理，適用於日語自然語言處理任務。

基於日語維基百科預訓練的BERT小型模型，專為金融文本挖掘優化

基於BERT-Base架構的泰語專用預訓練模型，針對泰語分詞特點優化，提供優於多語言BERT的性能表現

這是一個基於字符級分詞和全詞掩碼技術的日語BERT預訓練模型，無需依賴`fugashi`或`unidic_lite`工具包。

針對日語文本預訓練的BERT模型，採用字符級分詞和全詞掩碼機制，基於日語維基百科2020年8月31日版本訓練

基於日語語料庫預訓練的T5（文本到文本轉換Transformer）模型，適用於多種文本生成任務。

基於日語維基百科預訓練的ELECTRA小型模型，適用於日語文本生成和填充任務

mLUKE是LUKE的多語言擴展版本，支持24種語言的命名實體識別、關係分類和問答系統任務。

基於多語言BERT模型微調的波蘭語問答系統，在波蘭語SQuAD1.1數據集上表現優異

bert-base-multilingual-cased的精簡版本，僅支持5種語言（英語、法語、西班牙語、德語和中文），比原版小30%，但對這些語言的表示與原版相同。

基於日語文本預訓練的BERT模型，採用IPA詞典分詞和全詞掩碼技術

基於印地語、梵語和古吉拉特語維基百科文章訓練的多語言RoBERTa類模型，支持三種印度語系語言處理。

意大利語BERT基礎版在意大利語SQuAD上微調，用於問答下游任務

基於日語文本預訓練的BERT模型，採用字符級分詞處理，適用於日語自然語言處理任務。

這是一個基於RoBERTa架構的瑞典語預訓練模型，適用於多種自然語言處理任務。