Gloria 1.3B

🚀 GlórIA 1.3B

GlórIA 1.3B 是一個專注於歐洲葡萄牙語的大型生成式語言模型，基於GPTNeo架構，擁有13億參數，在葡萄牙語相關任務上有著出色的表現。

🚀 快速開始

基礎推理示例

>>> from transformers import pipeline
>>> generator = pipeline('text-generation', model='NOVA-vision-language/GlorIA-1.3B')
>>> generator("A culinária portuguesa é rica em aromas e", do_sample=True, min_length=50)
[{'generated_text': 'A culinária portuguesa é rica em aromas e'}]

推薦參數和使用方法（更靈活）

from transformers import GenerationConfig, TextGenerationPipeline
generation_config = GenerationConfig(
        max_new_tokens=50, do_sample=True, top_k=50, eos_token_id=model.config.eos_token_id,
        no_repeat_ngram_size=0, num_beams=4, repetition_penalty=2.0, temperature=1.0,
        output_scores=True, early_stopping=True
)
generator = TextGenerationPipeline(model=model, task="text-generation",
                                    tokenizer=loaded_tokenizer, device=0)
completion_prompts = ["Fernando Pessoa foi um dos poetas mais relevantes de"]
out = generator(completion_prompts, generation_config=generation_config)
[[{'generated_text': 'Fernando Pessoa foi um dos poetas mais relevantes de toda a literatura portuguesa, autor de uma obra que se estende por mais de quatro dezenas de livros, entre os quais "Mensagem", "O Guardador de Rebanhos", "Livro do desassossego", "Odes",'}]]

✨ 主要特性

• 專注歐洲葡萄牙語：GlórIA特別關注歐洲葡萄牙語，在該語言的處理上表現出色。
• 基於GPTNeo架構：該模型基於GPTNeo，擁有24層和2048的隱藏層大小。
• 可復現研究：你可以查看我們發表在PROPOR 2024上的論文。

📦 安裝指南

文檔未提及安裝步驟，故跳過。

💻 使用示例

基礎用法

>>> from transformers import pipeline
>>> generator = pipeline('text-generation', model='NOVA-vision-language/GlorIA-1.3B')
>>> generator("A culinária portuguesa é rica em aromas e", do_sample=True, min_length=50)
[{'generated_text': 'A culinária portuguesa é rica em aromas e'}]

高級用法

from transformers import GenerationConfig, TextGenerationPipeline
generation_config = GenerationConfig(
        max_new_tokens=50, do_sample=True, top_k=50, eos_token_id=model.config.eos_token_id,
        no_repeat_ngram_size=0, num_beams=4, repetition_penalty=2.0, temperature=1.0,
        output_scores=True, early_stopping=True
)
generator = TextGenerationPipeline(model=model, task="text-generation",
                                    tokenizer=loaded_tokenizer, device=0)
completion_prompts = ["Fernando Pessoa foi um dos poetas mais relevantes de"]
out = generator(completion_prompts, generation_config=generation_config)
[[{'generated_text': 'Fernando Pessoa foi um dos poetas mais relevantes de toda a literatura portuguesa, autor de uma obra que se estende por mais de quatro dezenas de livros, entre os quais "Mensagem", "O Guardador de Rebanhos", "Livro do desassossego", "Odes",'}]]

📚 詳細文檔

模型描述

GlórIA 是一個大型生成式語言模型，特別專注於歐洲葡萄牙語。它是一個擁有13億參數的模型，基於GPTNeo，有24層，隱藏層大小為2048。你可以查看我們被PROPOR 2024接收的論文。

訓練數據

GlórIA 1.3B 在一個約350億標記的大型語料庫上進行訓練。這個語料庫由多個葡萄牙語來源組成：

• ArquivoPT News PT-PT Dataset：來自Arquivo.pt的140萬條歐洲葡萄牙語存檔新聞和期刊的集合。
• ClueWeb-Large PT-PT：多語言語料庫，類似於OSCAR。使用元數據僅過濾出葡萄牙語網頁。
• Europarl PT-PT：一個平行語料庫，包含歐洲議會的會議記錄等文件（我們僅使用了葡萄牙語文件）。
• OpenSubtitles PT-PT：一個包含來自OpenSubtitles的葡萄牙語字幕的語料庫。
• OSCAR PT-PT：通過過濾Common Crawl語料庫獲得的多語言語料庫。我們使用元數據僅過濾出葡萄牙語網頁。
• PT WIKI：葡萄牙語維基百科，2022年6月20日的轉儲。

評估 - CALAME-PT

在CALAME-PT上評估了GlórIA 1.3B的生成能力。CALAME-PT是一個新的葡萄牙語基準，旨在根據給定上下文預測句子的最後一個單詞。

🔧 技術細節

文檔未提及技術實現細節，故跳過。

📄 許可證

GlórIA的使用僅限於研究目的，需遵循ClueWeb22數據集的許可證，該許可證可從此處免費獲取。

📖 引用

請使用以下BibTeX引用我們的論文：

@inproceedings{lopes-etal-2024-gloria,
    title = "{G}l{\'o}r{IA}: A Generative and Open Large Language Model for {P}ortuguese",
    author = "Lopes, Ricardo  and
      Magalhaes, Joao  and
      Semedo, David",
    editor = "Gamallo, Pablo  and
      Claro, Daniela  and
      Teixeira, Ant{\'o}nio  and
      Real, Livy  and
      Garcia, Marcos  and
      Oliveira, Hugo Gon{\c{c}}alo  and
      Amaro, Raquel",
    booktitle = "Proceedings of the 16th International Conference on Computational Processing of Portuguese",
    month = mar,
    year = "2024",
    address = "Santiago de Compostela, Galicia/Spain",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2024.propor-1.45",
    pages = "441--453",
}

🙏 致謝

我們要感謝Arquivo.pt團隊在內容保存方面的努力，以及在大規模訪問存檔網頁方面提供的所有幫助和指導。這項工作部分由FCT項目NOVA LINCS（編號UIDP/04516/2020）、CMU|Portugal項目iFetch（編號CMUP LISBOA - 01 - 0247 - FEDER - 045920）和FCT項目（編號CPCA - IAC/AV/594875/2023）資助。