Gervasio 8b Portuguese Ptpt Decoder

🚀 Gervásio 8B PTPT解碼器模型

🤖 Gervásio 8B PTPT 是一款面向葡萄牙語的開源解碼器模型。它基於Transformer架構，在LLaMA 3.1 8B Instruct模型基礎上進行微調，擁有強大的文本生成能力。該模型由葡萄牙里斯本大學的團隊開發，可免費用於研究和商業目的，並且由於其規模適中，能夠在消費級硬件上運行。

🚀 快速開始

本模型集成在聊天機器人 Evaristo.ai 中，你可以通過圖形用戶界面（GUI）即時體驗其生成能力。

你也可以使用以下代碼直接調用該模型進行因果語言建模：

>>> from transformers import pipeline
>>> generator = pipeline(model='PORTULAN/gervasio-8b-portuguese-ptpt-decoder')
>>> generator("A comida portuguesa é", max_new_tokens=10)

✨ 主要特性

• 開源免費：基於開放許可證免費分發，可用於研究和商業目的。
• 硬件友好：規模適中，能夠在消費級硬件上運行。
• 多數據集訓練：在多種葡萄牙語數據集上進行訓練，包括 extraGLUE-Instruct 等。

📦 安裝指南

暫未提供相關安裝步驟，可參考 transformers 庫的安裝方法。

💻 使用示例

基礎用法

from transformers import pipeline
generator = pipeline(model='PORTULAN/gervasio-8b-portuguese-ptpt-decoder')
input_text = "A comida portuguesa é"
output = generator(input_text, max_new_tokens=10)
print(output)

📚 詳細文檔

模型描述

該模型具有80億個參數，32層，隱藏層大小為4096，中間層大小為14336，32個注意力頭。它使用RoPE分詞器，詞彙表大小為128256。

訓練數據

Gervásio 8B PTPT 在多種數據集上進行訓練，這些數據集要麼是歐洲葡萄牙語原生的，要麼是翻譯成歐洲葡萄牙語的。訓練數據包括：

• extraGLUE-Instruct
• MMLU PT（多項選擇題回答）
• 自然指令的一個子集（主要是多項選擇題回答任務）
• 手動篩選的維基百科子集
• 手動篩選的諺語列表

訓練細節

在微調過程中，我們採用了監督微調方法，以因果語言建模為訓練目標，並使用了零輸出技術。具體來說，在微調過程中，整個提示和聊天模板都會受到關注，但只有響應令牌會進行反向傳播。

為了加速訓練，我們在10個L40S GPU上使用了完全分片數據並行（FSDP）範式。

性能

在測試中，我們使用了標準基準測試GPQA Diamond、MMLU和MMLU Pro的翻譯版本，以及 extraGLUE 中的CoPA、MRPC和RTE數據集。

🔧 技術細節

本模型基於Transformer架構，在LLaMA 3.1 8B Instruct模型基礎上進行微調。在微調過程中，採用了監督微調方法，以因果語言建模為訓練目標，並使用了零輸出技術。為了加速訓練，使用了完全分片數據並行（FSDP）範式。

📄 許可證

本模型採用MIT許可證，可免費用於研究和商業目的。

📖 引用信息

如果你使用或引用本模型，請使用以下規範引用：

@misc{gervasio,
      title={Advancing Generative AI for Portuguese with
             Open Decoder Gervásio PT-*}, 
      author={Rodrigo Santos, João Silva, Luís Gomes,
              João Rodrigues, António Branco},
      year={2024},
      eprint={2402.18766},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

🙏 致謝

本研究部分得到以下項目的支持：

• PORTULAN CLARIN — 語言科學與技術研究基礎設施，由Lisboa 2020、Alentejo 2020和FCT — Fundação para a Ciência e Tecnologia資助，資助編號為PINFRA/22117/2016。
• 創新項目ACCELERAT.AI - 多語言智能聯絡中心，由IAPMEI, I.P. - Agência para a Competitividade e Inovação I.P.資助，資助編號為C625734525-00462629，屬於Plano de Recuperação e Resiliência項目，招標編號為RE-C05-i01.01 – Agendas/Alianças Mobilizadoras para a Reindustrialização。
• 研究項目 "Hey, Hal, curb your hallucination! / Enhancing AI chatbots with enhanced RAG solutions"，由FCT - Fundação para a Ciência e a Tecnologia資助，資助編號為2024.07592.IACDC。
• 項目 "CLARIN – Infraestrutura de Investigação para a Ciência e Tecnologia da Linguagem"，由Lisboa2030項目資助，資助編號為LISBOA2030-FEDER-01316900PORTULAN。