🚀 SPhilBerta
SPhilBerta是一个用于识别拉丁语和古希腊语文本之间跨语言引用的句子转换器模型。该模型以PhilBERTa为基础,采用了知识蒸馏方法。相关论文首次尝试为古典文献学系统地提供最先进的语言模型,可在此处查看。
🚀 快速开始
本模型可用于识别拉丁语和古希腊语文本之间的跨语言引用。下面将介绍不同方式下的使用方法。
💻 使用示例
基础用法
当你安装了 sentence-transformers 时,可以按如下方式使用模型:
from sentence_transformers import SentenceTransformer
sentences = ["This is an example sentence", "Each sentence is converted"]
model = SentenceTransformer('{MODEL_NAME}')
embeddings = model.encode(sentences)
print(embeddings)
高级用法
若未安装 sentence-transformers,可以按以下方式使用模型:首先将输入传递给transformer模型,然后对上下文词嵌入应用正确的池化操作。
from transformers import AutoTokenizer, AutoModel
import torch
def mean_pooling(model_output, attention_mask):
token_embeddings = model_output[0]
input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)
sentences = ['This is an example sentence', 'Each sentence is converted']
tokenizer = AutoTokenizer.from_pretrained('{MODEL_NAME}')
model = AutoModel.from_pretrained('{MODEL_NAME}')
encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')
with torch.no_grad():
model_output = model(**encoded_input)
sentence_embeddings = mean_pooling(model_output, encoded_input['attention_mask'])
print("Sentence embeddings:")
print(sentence_embeddings)
📚 详细文档
论文 Exploring Language Models for Classical Philology 是首次为古典文献学系统提供最先进语言模型的尝试。我们以PhilBERTa为基础,引入了SPhilBERTa,一个用于识别拉丁语和古希腊语文本之间跨语言引用的句子转换器模型。我们采用了 Reimers and Gurevych (2020) 提出的知识蒸馏方法。我们的论文可在 此处 找到。
📄 许可证
本项目采用 apache-2.0
许可证。
👥 联系我们
如果您有任何问题或疑问,请随时 联系我们。
📖 引用
如果您使用了该模型,请引用以下论文:
@incollection{riemenschneiderfrank:2023b,
author = "Riemenschneider, Frederick and Frank, Anette",
title = "{Graecia capta ferum victorem cepit. Detecting Latin Allusions to Ancient Greek Literature}",
year = "2023",
url = "https://arxiv.org/abs/2308.12008",
note = "to appear",
publisher = "Association for Computational Linguistics",
booktitle = "Proceedings of the First Workshop on Ancient Language Processing",
address = "Varna, Bulgaria"
}
模型信息
属性 |
详情 |
模型类型 |
句子转换器模型 |
支持语言 |
多语言、古希腊语、英语、拉丁语 |
标签 |
sentence-transformers、sentence-similarity |
许可证 |
apache-2.0 |