Jasmine 350M

🚀 Jasmine-350M：用於少樣本學習的阿拉伯語GPT模型

JASMINE是一套強大的阿拉伯語自迴歸Transformer語言模型，參數量從3億到67億不等。這些模型在一個龐大且多樣化的數據集（235GB文本）上進行了預訓練。本倉庫是我們發表於EMNLP2023的論文JASMINE: Arabic GPT Models for Few-Shot Learning的配套代碼庫。

🚀 快速開始

本倉庫包含了與我們在EMNLP2023發表的論文相關的資源。JASMINE模型在大規模多樣的數據集上進行了預訓練，為阿拉伯語的少樣本學習提供了強大的支持。

📚 詳細文檔

論文引用

如果您在科學出版物中使用了Jasmine模型，或者發現本倉庫中的資源很有用，請按以下方式引用我們的論文（待更新）：

@inproceedings{billah-nagoudi-etal-2023-jasmine,
    title = "{JASMINE}: {A}rabic {GPT} Models for Few-Shot Learning",
    author = "Billah Nagoudi, El Moatez  and
      Abdul-Mageed, Muhammad  and
      Elmadany, AbdelRahim  and
      Inciarte, Alcides  and
      Islam Khondaker, Md Tawkat",
    editor = "Bouamor, Houda  and
      Pino, Juan  and
      Bali, Kalika",
    booktitle = "Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing",
    month = dec,
    year = "2023",
    address = "Singapore",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2023.emnlp-main.1040",
    doi = "10.18653/v1/2023.emnlp-main.1040",
    pages = "16721--16744",
}

致謝

我們衷心感謝加拿大自然科學與工程研究委員會、加拿大社會科學與人文研究委員會、加拿大創新基金會、ComputeCanada和UBC ARC - Sockeye的支持。我們也感謝Google TensorFlow Research Cloud (TFRC)項目為我們提供免費的TPU訪問權限。

額外信息

以下是一些額外的文本信息：

• 沙特前國腳侯賽因·阿卜杜勒·加尼對聯盟簽約表示讚賞。
• 美國總統喬·拜登傍晚返回白宮時發表講話。
• 沙特王儲穆罕默德·本·薩勒曼在吉達舉行的美阿峰會上表示，國際社會的共同努力對於全球經濟復甦至關重要。
• 相關言論提及：比明，為支付卡邁勒·馬赫的費用，拉菲伊講述了巴格維的事情並得到他的認可。
• 安塔拉·阿巴斯以自己和族人為榮，並在以下詩句中包含了許多智慧：“不因地位高升而心懷怨恨，不因脾氣暴躁而獲得卓越。”
• 他的優美詩句還有：“讓日子隨心所欲地流逝，若命運註定，就順從本心；不要因夜晚的降臨而恐懼，世間的變故不會長久；做一個堅強面對命運的人，珍惜你的聲譽。”