Albert For Arqmath 3

🚀 ARQMath 3用ALBERT

このリポジトリには、ARQMath 3に対する最適なモデルであるmath_10モデルが含まれています。このモデルはALBERT-base-v2から初期化され、Math StackExchange上で3つの異なる段階でさらに事前学習されました。また、数式のトークン化を改善するために、トークナイザにより多くのLaTeXトークンを追加しました。math_10は、与えられた質問（シーケンス1）が与えられた回答（シーケンス2）と一致するかどうかを判断する分類タスクで微調整されました。この分類出力は、最適な回答をランキングするために使用できます。詳細については、当社の論文をご覧ください：http://ceur-ws.org/Vol-3180/paper-07.pdf。

🚀 クイックスタート

このリポジトリには、ARQMath 3に最適なモデルであるmath_10モデルが含まれています。初期はALBERT-base-v2から始まり、Math StackExchange上で3段階にわたって事前学習されました。また、数式のトークン化を改善するために、トークナイザにLaTeXトークンを追加しました。math_10は、質問と回答の一致を判断する分類タスクで微調整され、その出力は回答のランキングに利用できます。詳細は論文を参照してください。

✨ 主な機能

• ALBERT-base-v2をベースに、Math StackExchangeで3段階の事前学習を行いました。
• トークナイザにLaTeXトークンを追加し、数式のトークン化を改善しました。
• 質問と回答の一致を判断する分類タスクで微調整され、回答のランキングに利用できます。

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

基本的な使用法

# based on https://huggingface.co/docs/transformers/main/en/task_summary#sequence-classification
from transformers import AutoTokenizer, AutoModelForSequenceClassification

tokenizer = AutoTokenizer.from_pretrained("AnReu/albert-for-arqmath-3")

model = AutoModelForSequenceClassification.from_pretrained("AnReu/albert-for-arqmath-3")

classes = ["non relevant", "relevant"]

sequence_0 = "How can I calculate x in $3x = 5$"
sequence_1 = "Just divide by 3: $x = \\frac{5}{3}$"
sequence_2 = "The general rule for squaring a sum is $(a+b)^2=a^2+2ab+b^2$"

# The tokenizer will automatically add any model specific separators (i.e. <CLS> and <SEP>) and tokens to
# the sequence, as well as compute the attention masks.
irrelevant = tokenizer(sequence_0, sequence_2, return_tensors="pt")
relevant = tokenizer(sequence_0, sequence_1, return_tensors="pt")

irrelevant_classification_logits = model(**irrelevant).logits
relevant_classification_logits = model(**relevant).logits

irrelevant_results = torch.softmax(irrelevant_classification_logits, dim=1).tolist()[0]
relevant_results = torch.softmax(relevant_classification_logits, dim=1).tolist()[0]

# Should be irrelevant
for i in range(len(classes)):
    print(f"{classes[i]}: {int(round(irrelevant_results[i] * 100))}%")

# Should be relevant
for i in range(len(classes)):
    print(f"{classes[i]}: {int(round(relevant_results[i] * 100))}%")

📚 ドキュメント

ARQMath 3の他のモデル

他の微調整済みモデルとベースモデルも公開予定です。これらのリポジトリへのリンクは近日追加されます。

更新情報

ALBERTモデルと同じ方法でBERT-base-casedモデルもさらに事前学習しました。こちらで確認できます：AnReu/math_pretrained_bert。

📄 ライセンス

このREADMEにはライセンス情報が記載されていないため、このセクションは省略されます。

🔧 技術詳細

このREADMEには具体的な技術詳細が記載されていないため、このセクションは省略されます。

📄 引用

このモデルが役立つと思われる場合は、当社の論文を引用してください：

@article{reusch2022transformer,
  title={Transformer-Encoder and Decoder Models for Questions on Math},
  author={Reusch, Anja and Thiele, Maik and Lehner, Wolfgang},
  year={2022},
  organization={CLEF}
}