Bert Base Buddhist Sanskrit

🚀 佛教梵語基礎BERT模型

該模型是論文《佛教梵語嵌入模型》中表現最佳的模型，此論文發表於2022年的LREC會議（會議論文集出版後將添加論文鏈接），能夠為佛教梵語相關研究和應用提供強大支持。

🚀 快速開始

此模型可通過以下代碼進行加載使用：

model = AutoModelForMaskedLM.from_pretrained("Matej/bert-base-buddhist-sanskrit")
tokenizer = AutoTokenizer.from_pretrained("Matej/bert-base-buddhist-sanskrit", use_fast=True)

✨ 主要特性

該模型採用BERT基礎架構和配置，在梵語參考語料庫上作為掩碼語言模型從頭開始預訓練，並在較小的佛教梵語語料庫上進行微調。

📦 安裝指南

文檔未提及具體安裝步驟，可參考Hugging Face相關庫的安裝方式來安裝依賴。

💻 使用示例

基礎用法

model = AutoModelForMaskedLM.from_pretrained("Matej/bert-base-buddhist-sanskrit")
tokenizer = AutoTokenizer.from_pretrained("Matej/bert-base-buddhist-sanskrit", use_fast=True)

📚 詳細文檔

預期用途與限制

該模型遵循MIT許可協議，使用無限制。

訓練和評估數據

具體語料庫和評估程序的詳細信息請參考論文《佛教梵語嵌入模型》。

訓練超參數

訓練過程中使用了以下超參數：

• 學習率（learning_rate）：5e-05
• 訓練批次大小（train_batch_size）：28
• 評估批次大小（eval_batch_size）：4
• 隨機種子（seed）：42
• 優化器（optimizer）：Adam，其中betas=(0.9, 0.999)，epsilon=1e-08
• 學習率調度器類型（lr_scheduler_type）：線性
• 訓練輪數（num_epochs）：300.0

框架版本

• Transformers：4.11.2
• Pytorch：1.7.0
• Datasets：1.12.1
• Tokenizers：0.10.3

📄 許可證

該模型採用MIT許可證。