# 高效Transformer

用於檢測端到端AI生成歌曲的先進模型，特別擅長捕捉長時音頻特徵

GLiNER-BioMed是基於GLiNER框架的專為生物醫學領域設計的高效開放NER模型套件，能夠識別多種類型的生物醫學實體。

GLiNER-BioMed是基於GLiNER框架的高效開放生物醫學命名實體識別模型套件，專為生物醫學領域設計，能夠識別多種實體類型。

GLiNER-BioMed是基於GLiNER框架的專門高效開放生物醫學NER模型套件，在生物醫學實體識別任務中實現了最先進的零樣本和小樣本性能。

Janus-Pro 是一種新穎的自迴歸框架，統一了多模態理解與生成能力。通過解耦視覺編碼路徑，使用單一 Transformer 架構處理多模態任務。

Deepseek LLM 7B Base 是一個7B參數規模的基礎大語言模型，採用AWQ量化技術優化推理效率。

CED-Tiny 是基於ViT-Transformer的簡易音頻標註模型，在Audioset上實現了最先進的性能表現。

CED是基於ViT-Transformer的簡易音頻標註模型，在Audioset上實現了最先進的性能表現。

LongT5 是一個基於 Transformer 的文本到文本模型，專門設計用於處理長序列輸入，最高支持 16384 個標記。

BigBird是一種基於稀疏注意力的Transformer模型，能夠處理長達4096的序列，適用於長文檔任務。

基於XLM-R擴展的長序列處理模型，支持最長4096標記的序列處理，適用於多語言任務

該模型是在GLUE QQP數據集上對google/fnet-base進行微調的版本，用於文本分類任務，特別針對Quora問題對是否重複的問題。

基於谷歌FNet架構在SST-2情感分析數據集上微調的文本分類模型

ELECTRA是一種高效的自監督語言表示學習方法，通過判別式預訓練替代傳統生成式預訓練，顯著提升計算效率。

基於XLM-RoBERTa擴展的長序列模型，支持最長4096標記的序列處理，適用於多語言任務

ALBERT XXLarge v1是基於英語語料、採用掩碼語言建模（MLM）目標預訓練的Transformer模型，具有參數共享特性。

這是distilbert-base-multilingual-cased的精簡版本，支持英語、西班牙語和葡萄牙語，保持了原始模型的準確率。