Pagnol Xl

🚀 PAGnol：超大型法語生成模型

PAGnol是一組大型法語語言模型，專注於自由格式文本生成。它擁有15億個參數，基於GPT架構構建。該模型由LightOn與Inria的ALMAnaCH團隊合作訓練，是LightOn訓練的首個語言模型。

🚀 快速開始

PAGnol模型於2021年初按照當時的縮放定律進行訓練，並使用了與在CCNet上訓練的CamemBERT模型完全相同的訓練數據。我們提供該模型是為了便於研究的可重複性，它並非當前的最優模型，也並非旨在成為最優模型。

論文鏈接：ARXIV，ACL ANTHOLOGY

代碼鏈接：GITHUB

✨ 主要特性

• 大規模參數：擁有15億個參數，具備強大的文本生成能力。
• 法語專用：專門針對法語進行訓練，適合法語自由格式文本生成任務。
• 基於GPT架構：採用成熟的GPT架構，保證了模型的性能和穩定性。

💻 使用示例

基礎用法

from transformers import pipeline

generator = pipeline('text-generation', model='lightonai/pagnol-xl', trust_remote_code=True)

output = generator(
    "Salut PAGnol, comment ça va ?",
    max_length=50,
    do_sample=True,
    temperature=0.7,
)[0]["generated_text"]

>>> "Très bien! Les jours d’été sont là ! Bientôt les premiers festivals..."

📚 詳細文檔

可用模型

模型構建團隊

PAGnol由Julien Launay、E.L. Tommasone、Baptiste Pannier、François Boniface、Amélie Chatelain、Iacopo Poli和Djamé Seddah構建。它以Marcel Pagnol命名（PAG代表pré-apprentissage génératif），並在IDRIS Jean Zay超級計算機上進行訓練，這得益於GENCI的資源分配。

模型轉換

該模型由Wissam Antoun（ALMAnaCH的博士生，由Benoît Sagot和Djamé Seddah共同指導）轉換為Hugging Face格式。

📄 許可證

PAGnol採用MIT許可證。通過下載以下可用模型，即表示您同意遵守MIT許可協議的條款。在任何情況下，LightOn和/或Inria均不對因您使用或無法使用PAGnol而直接或間接導致的任何索賠、損害、損失、費用、成本或責任（包括但不限於因利潤損失、業務中斷或信息丟失而造成的任何直接或間接損害）承擔任何責任。

📖 引用

如果您在研究中使用了PAGnol，請使用以下BibTeX引用：

@inproceedings{launay-etal-2022-pagnol,
    title = "{PAG}nol: An Extra-Large {F}rench Generative Model",
    author = "Launay, Julien  and
      Tommasone, E.l.  and
      Pannier, Baptiste  and
      Boniface, Fran{\c{c}}ois  and
      Chatelain, Am{\'e}lie  and
      Cappelli, Alessandro  and
      Poli, Iacopo  and
      Seddah, Djam{\'e}",
    editor = "Calzolari, Nicoletta  and
      B{\'e}chet, Fr{\'e}d{\'e}ric  and
      Blache, Philippe  and
      Choukri, Khalid  and
      Cieri, Christopher  and
      Declerck, Thierry  and
      Goggi, Sara  and
      Isahara, Hitoshi  and
      Maegaard, Bente  and
      Mariani, Joseph  and
      Mazo, H{\'e}l{\`e}ne  and
      Odijk, Jan  and
      Piperidis, Stelios",
    booktitle = "Proceedings of the Thirteenth Language Resources and Evaluation Conference",
    month = jun,
    year = "2022",
    address = "Marseille, France",
    publisher = "European Language Resources Association",
    url = "https://aclanthology.org/2022.lrec-1.455",
    pages = "4275--4284",
}

📞 聯繫我們

• 研究諮詢：pagnol@lighton.ai
• 商務諮詢：customer.relations@lighton.ai