B

Byt5 Small Historic English Span20

由hmbyt5開發
歷史多語言與單語言ByT5基礎模型,當前支持英語(大英圖書館語料庫 - 書籍)。
下載量 18
發布時間 : 4/30/2023

模型概述

hmByT5是基於ByT5架構的基礎語言模型,主要用於文本處理任務,支持英語。

模型特點

多語言支持
模型設計為支持多語言處理,當前已涵蓋英語。
優化的噪聲片段長度
採用mean_noise_span_length=20進行預訓練,相比默認值3,使預訓練任務更具挑戰性。
TPU訓練
使用Google的TPU研究雲(TRC)提供的v3-8 TPU進行預訓練。

模型能力

文本生成
文本處理

使用案例

文本處理
英語文本處理
適用於處理英語文本,如大英圖書館語料庫中的書籍內容。
在英語AjMC數據集上微調後,平均性能達到85.82 ± 0.79。
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase