Bert Chinese Poem

🚀 適用於中國古典詩歌的Bert模型

本項目是一個適用於中國古典詩歌的Bert模型，它基於搜韻開源的語料進行訓練，以16的batch_size訓練了約110萬步，最終loss穩定低於1，能為古典詩歌相關的自然語言處理任務提供有力支持。

🚀 快速開始

適用於中國古典詩歌的bert模型，在搜韻開源的語料上以16的batch_size訓練了110萬步左右，loss穩定低於1。

💻 使用示例

基礎用法

from transformers import BertTokenizer, BertForMaskedLM
import torch

# 加載分詞器
tokenizer = BertTokenizer.from_pretrained("qixun/bert-chinese-poem")

# 加載模型
model = BertForMaskedLM.from_pretrained("qixun/bert-chinese-poem")

# 輸入文本
text = "宵涼百念集孤[MASK]，暗雨鳴廊睡未能。生計坐憐秋一葉，歸程冥想浪千層。寒心國事渾難料，堆眼官資信可憎。此去夢中應不忘，順承門內近觚稜。"

# 分詞
inputs = tokenizer(text, return_tensors="pt")

# 模型推理
with torch.no_grad():
    outputs = model(**inputs)

# 獲取[MASK]標記的位置
mask_token_index = torch.where(inputs["input_ids"] == tokenizer.mask_token_id)[1]

# 獲取預測的token_id
predicted_token_id = outputs.logits[0, mask_token_index].argmax(axis=-1).item()

# 獲取預測的詞
predicted_token = tokenizer.decode([predicted_token_id])

print(f"預測的詞是：{predicted_token}")

📄 許可證

本項目採用GPL-3.0許可證。