Albert For Arqmath 3

🚀 ARQMath 3的ALBERT模型

本倉庫包含我們針對ARQMath 3的最佳模型——math_10模型。該模型從ALBERT-base-v2初始化，並在Math StackExchange上分三個不同階段進行了進一步預訓練。我們還為分詞器添加了更多LaTeX標記，以實現對數學公式更好的分詞。math_10模型在一個分類任務上進行了微調，用於確定給定問題（序列1）是否與給定答案（序列2）匹配。分類輸出可用於對最佳答案進行排序。有關更多詳細信息，請閱讀我們的論文：點擊查看。

✨ 主要特性

• 基於ALBERT-base-v2初始化，在數學領域數據上進行預訓練。
• 為分詞器添加更多LaTeX標記，提升數學公式分詞效果。
• 經過微調可用於判斷問題與答案的匹配度，為答案排序。

📦 安裝指南

暫未提及具體安裝步驟，可參考使用示例中的代碼依賴。

💻 使用示例

基礎用法

# based on https://huggingface.co/docs/transformers/main/en/task_summary#sequence-classification
from transformers import AutoTokenizer, AutoModelForSequenceClassification

tokenizer = AutoTokenizer.from_pretrained("AnReu/albert-for-arqmath-3")

model = AutoModelForSequenceClassification.from_pretrained("AnReu/albert-for-arqmath-3")

classes = ["non relevant", "relevant"]

sequence_0 = "How can I calculate x in $3x = 5$"
sequence_1 = "Just divide by 3: $x = \\frac{5}{3}$"
sequence_2 = "The general rule for squaring a sum is $(a+b)^2=a^2+2ab+b^2$"

# The tokenizer will automatically add any model specific separators (i.e. <CLS> and <SEP>) and tokens to
# the sequence, as well as compute the attention masks.
irrelevant = tokenizer(sequence_0, sequence_2, return_tensors="pt")
relevant = tokenizer(sequence_0, sequence_1, return_tensors="pt")

irrelevant_classification_logits = model(**irrelevant).logits
relevant_classification_logits = model(**relevant).logits

irrelevant_results = torch.softmax(irrelevant_classification_logits, dim=1).tolist()[0]
relevant_results = torch.softmax(relevant_classification_logits, dim=1).tolist()[0]

# Should be irrelevant
for i in range(len(classes)):
    print(f"{classes[i]}: {int(round(irrelevant_results[i] * 100))}%")

# Should be relevant
for i in range(len(classes)):
    print(f"{classes[i]}: {int(round(relevant_results[i] * 100))}%")

📚 詳細文檔

ARQMath 3的其他模型

我們計劃發佈其他微調模型以及基礎模型。這些倉庫的鏈接將很快添加到此處。

更新

我們還以與ALBERT模型相同的方式對BERT-base-cased模型進行了進一步預訓練。你可以在此處找到該模型：AnReu/math_pretrained_bert。

📄 許可證

原文檔未提及許可證信息。

📖 引用

如果你發現此模型有用，請考慮引用我們的論文：

@article{reusch2022transformer,
  title={Transformer-Encoder and Decoder Models for Questions on Math},
  author={Reusch, Anja and Thiele, Maik and Lehner, Wolfgang},
  year={2022},
  organization={CLEF}
}