Jasmine 350M

🚀 Jasmine-350M

JASMINE: 少ショット学習向けのアラビア語GPTモデル

このリポジトリは、我々のEMNLP2023論文 JASMINE: Arabic GPT Models for Few-Shot Learning に付随するものです。JASMINEは、3億から67億のパラメータ規模の強力なアラビア語自己回帰型Transformer言語モデルのセットで、大規模かつ多様なデータセット（235GBのテキスト）で事前学習されています。

🚀 クイックスタート

このリポジトリは、EMNLP2023で発表された論文に関連するもので、アラビア語のGPTモデルについての情報を提供しています。

📚 ドキュメント

BibTex

Jasmineモデルを科学的な出版物で使用する場合、またはこのリポジトリのリソースが役に立った場合、以下のように我々の論文を引用してください（更新予定）。

@inproceedings{billah-nagoudi-etal-2023-jasmine,
    title = "{JASMINE}: {A}rabic {GPT} Models for Few-Shot Learning",
    author = "Billah Nagoudi, El Moatez  and
      Abdul-Mageed, Muhammad  and
      Elmadany, AbdelRahim  and
      Inciarte, Alcides  and
      Islam Khondaker, Md Tawkat",
    editor = "Bouamor, Houda  and
      Pino, Juan  and
      Bali, Kalika",
    booktitle = "Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing",
    month = dec,
    year = "2023",
    address = "Singapore",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2023.emnlp-main.1040",
    doi = "10.18653/v1/2023.emnlp-main.1040",
    pages = "16721--16744",
}

謝辞

我々は、カナダ自然科学・工学研究評議会、カナダ社会科学・人文科学研究評議会、カナダイノベーション財団、ComputeCanada および UBC ARC-Sockeye からの支援に感謝します。また、Google TensorFlow Research Cloud (TFRC) プログラムが無料のTPUアクセスを提供してくれたことにも感謝します。