# 高效文本理解

這是一個針對土耳其語優化的Bert模型，專門用於物流領域的文本分類任務。

DistilBERT 是 BERT 的輕量級蒸餾版本，保留了 BERT 的大部分性能，但參數量更少，推理速度更快。

RoBERTa模型的蒸餾版本，保留了原模型的主要性能，同時降低了計算資源需求。

採用全詞掩碼技術的中文預訓練BERT模型，旨在加速中文自然語言處理的發展。

基於1B詞元規模預訓練的RoBERTa基礎模型，驗證困惑度為3.93，適用於英語文本處理任務。

ALBERT Small v2 是 ALBERT-base-v2 的 6 層輕量級版本，基於 Transformer 架構，適用於自然語言處理任務。

基於1M tokens小規模數據預訓練的RoBERTa模型，採用MED-SMALL架構，適用於文本理解任務。