Greekbart
模型简介
首个预训练的希腊语序列到序列模型,通过重构被破坏的输入句子进行预训练,使用了76.9GB的希腊语原始文本语料库。
模型特点
希腊语专用
专门针对希腊语进行预训练和优化,填补了希腊语序列到序列模型的空白。
多任务支持
提供基础模型和三个微调版本,分别支持摘要生成、标题生成和情感分类任务。
大规模预训练
使用76.9GB希腊语原始文本进行预训练,具有强大的语言理解能力。
模型能力
文本摘要生成
新闻标题生成
情感分类
掩码预测
使用案例
新闻媒体
新闻摘要生成
根据希腊新闻文章自动生成简洁摘要
示例结果显示能准确提取关键信息
新闻标题生成
为新闻内容自动生成吸引人的标题
示例标题'帕特雷:护士就乔治娜入院作证'
情感分析
评论情感分类
对希腊语文本进行正面/负面情感分类
示例准确识别'希腊文明是最丰富且广受认可的文明之一。'为正面评价
🚀 GreekBART:首个预训练的希腊语序列到序列模型
GreekBART是基于BART的希腊语序列到序列预训练模型。它通过学习重构受损的输入句子进行预训练,使用了76.9GB的希腊语原始文本语料库。与现有的基于BERT的希腊语模型(GreekBERT)不同,GreekBART特别适合生成任务(如摘要生成),因为它不仅编码器经过预训练,解码器也经过预训练。除了从头开始在重构任务上预训练的基础GreekBART外,我们还在三个任务上对其进行了微调:greekbart-news24-abstract
可根据希腊语新闻文章生成摘要,greekbart-news24-title
可根据希腊语新闻文章生成标题,greekbart-sentiment-classification
则在二元情感分类任务上进行了微调。
模型 | 架构 | 层数 | 参数数量 |
---|---|---|---|
GreekBART | BASE | 12 | 165M |
GreekBART Abstract | BASE | 12 | 165M |
GreekBART Title | BASE | 12 | 165M |
GreekBART Sentiment Classification | BASE | 12 | 165M |
论文链接:https://arxiv.org/pdf/2304.00869 GitHub链接:https://github.com/iakovosevdaimon/GreekBART
🚀 快速开始
以下是GreekBART在不同任务上的使用示例。
💻 使用示例
基础用法
掩码预测
from transformers import pipeline
greekbart_fill_mask = pipeline("fill-mask", model="dascim/greekbart", tokenizer="dascim/greekbart")
results = greekbart_fill_mask("Η πρωτεύουσα της Ελλάδας είναι η <mask>")
results[0]
# {'score': 0.597200870513916, 'token': 7062, 'token_str': 'Αθήνα', 'sequence': 'Η πρωτεύουσα της Ελλάδας είναι η Αθήνα'},
摘要生成
text_sentence = 'Στην κατάθεση νοσηλεύτριας του Καραμανδάνειου Νοσοκομείου Πάτρας Παναγιώτας Τσεντούρου, η οποία εργαζόταν όταν εισήχθη στις 8 Απριλίου 2021 η Τζωρτζίνα, προχώρησε η διαδικασία ενώπιον του ΜΟΔ που δικάζει τη Ρούλα Πισπιρίγκου. Η νοσηλεύτρια κατέθεσε πως κατά την εισαγωγή του παιδιού "μου ανέφεραν πως είναι ένα παιδάκι που έχει χάσει τα αδελφάκια του και ότι είναι ιδιαίτερη περίπτωση" και εξιστόρησε τα γεγονότα της ημέρας εισαγωγής και της επομένης που η ίδια είχε βάρδια στην παιδιατρική κλινική.'
from transformers import (
AutoTokenizer,
AutoModelForSeq2SeqLM
)
tokenizer = AutoTokenizer.from_pretrained("dascim/greekbart-news24-abstract")
model = AutoModelForSeq2SeqLM.from_pretrained("dascim/greekbart-news24-abstract")
input_ids = tokenizer.encode(text_sentence, add_special_tokens=True, return_tensors='pt')
model.eval()
predict = model.generate(input_ids, max_length=100)[0]
tokenizer.decode(predict, skip_special_tokens=True)
#'Η νοσηλεύτρια κατέθεσε πως κατά την εισαγωγή του παιδιού "μου ανέφεραν πως είναι ένα παιδάκι που έχει χάσει τα αδελφάκια του και ότι είναι ιδιαίτερη περίπτωση".'
标题生成
text_sentence = 'Στην κατάθεση νοσηλεύτριας του Καραμανδάνειου Νοσοκομείου Πάτρας Παναγιώτας Τσεντούρου, η οποία εργαζόταν όταν εισήχθη στις 8 Απριλίου 2021 η Τζωρτζίνα, προχώρησε η διαδικασία ενώπιον του ΜΟΔ που δικάζει τη Ρούλα Πισπιρίγκου. Η νοσηλεύτρια κατέθεσε πως κατά την εισαγωγή του παιδιού "μου ανέφεραν πως είναι ένα παιδάκι που έχει χάσει τα αδελφάκια του και ότι είναι ιδιαίτερη περίπτωση" και εξιστόρησε τα γεγονότα της ημέρας εισαγωγής και της επομένης που η ίδια είχε βάρδια στην παιδιατρική κλινική.'
from transformers import (
AutoTokenizer,
AutoModelForSeq2SeqLM
)
tokenizer = AutoTokenizer.from_pretrained("dascim/greekbart-news24-title")
model = AutoModelForSeq2SeqLM.from_pretrained("dascim/greekbart-news24-title")
input_ids = tokenizer.encode(text_sentence, add_special_tokens=True, return_tensors='pt')
model.eval()
predict = model.generate(input_ids, max_length=100)[0]
tokenizer.decode(predict, skip_special_tokens=True)
# 'Πάτρα: Κατάθεση νοσηλεύτριας για την εισαγωγή της Τζωρτζίνας στο νοσοκομείο'
情感预测
text_sentence = "Ο ελληνικός πολιτισμός είναι ένας από τους πιο πλούσιους και αναγνωρισμένους πολιτισμούς."
from transformers import (
AutoTokenizer,
AutoModelForSequenceClassification
)
tokenizer = AutoTokenizer.from_pretrained("dascim/greekbart-sentiment-classification")
model = AutoModelForSequenceClassification.from_pretrained("dascim/greekbart-sentiment-classification")
input_ids = tokenizer.encode(text_sentence, add_special_tokens=True, return_tensors='pt')
model.eval()
predict = model(input_ids)[0]
print("negative" if predict.argmax(dim=-1).item()==1 else "positive")
# positive
📄 许可证
本项目采用MIT许可证。
👨💻 作者
GreekBART由Iakovos Evdaimon、Hadi Abdine、Christos Xypolopoulos、Stamatis Outsios、Michalis Vazirgiannis和Giorgos Stamou在École Polytechnique进行训练和评估。
📚 引用
如果您使用了我们的工作,请引用以下文献:
@inproceedings{evdaimon-etal-2024-greekbart,
title = "{G}reek{BART}: The First Pretrained {G}reek Sequence-to-Sequence Model",
author = "Evdaimon, Iakovos and
Abdine, Hadi and
Xypolopoulos, Christos and
Outsios, Stamatis and
Vazirgiannis, Michalis and
Stamou, Giorgos",
editor = "Calzolari, Nicoletta and
Kan, Min-Yen and
Hoste, Veronique and
Lenci, Alessandro and
Sakti, Sakriani and
Xue, Nianwen",
booktitle = "Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024)",
month = may,
year = "2024",
address = "Torino, Italia",
publisher = "ELRA and ICCL",
url = "https://aclanthology.org/2024.lrec-main.700",
pages = "7949--7962",
}
Phi 2 GGUF
其他
Phi-2是微软开发的一个小型但强大的语言模型,具有27亿参数,专注于高效推理和高质量文本生成。
大型语言模型 支持多种语言
P
TheBloke
41.5M
205
Roberta Large
MIT
基于掩码语言建模目标预训练的大型英语语言模型,采用改进的BERT训练方法
大型语言模型 英语
R
FacebookAI
19.4M
212
Distilbert Base Uncased
Apache-2.0
DistilBERT是BERT基础模型的蒸馏版本,在保持相近性能的同时更轻量高效,适用于序列分类、标记分类等自然语言处理任务。
大型语言模型 英语
D
distilbert
11.1M
669
Llama 3.1 8B Instruct GGUF
Meta Llama 3.1 8B Instruct 是一个多语言大语言模型,针对多语言对话用例进行了优化,在常见的行业基准测试中表现优异。
大型语言模型 英语
L
modularai
9.7M
4
Xlm Roberta Base
MIT
XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型,采用掩码语言建模目标进行训练。
大型语言模型 支持多种语言
X
FacebookAI
9.6M
664
Roberta Base
MIT
基于Transformer架构的英语预训练模型,通过掩码语言建模目标在海量文本上训练,支持文本特征提取和下游任务微调
大型语言模型 英语
R
FacebookAI
9.3M
488
Opt 125m
其他
OPT是由Meta AI发布的开放预训练Transformer语言模型套件,参数量从1.25亿到1750亿,旨在对标GPT-3系列性能,同时促进大规模语言模型的开放研究。
大型语言模型 英语
O
facebook
6.3M
198
1
基于transformers库的预训练模型,适用于多种NLP任务
大型语言模型
Transformers

1
unslothai
6.2M
1
Llama 3.1 8B Instruct
Llama 3.1是Meta推出的多语言大语言模型系列,包含8B、70B和405B参数规模,支持8种语言和代码生成,优化了多语言对话场景。
大型语言模型
Transformers 支持多种语言

L
meta-llama
5.7M
3,898
T5 Base
Apache-2.0
T5基础版是由Google开发的文本到文本转换Transformer模型,参数规模2.2亿,支持多语言NLP任务。
大型语言模型 支持多种语言
T
google-t5
5.4M
702
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型,性能媲美GPT-3.5-turbo,优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型
Transformers 支持多种语言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型,专为边缘设备推理设计,体积仅为Cosmo-3B模型的2%左右。
对话系统
Transformers 英语

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型,适用于从给定文本中提取答案的任务。
问答系统 中文
R
uer
2,694
98