Kanarya 750m

🚀 金絲雀-750M：土耳其語語言模型

金絲雀（Kanarya） 是一個預訓練的土耳其語GPT - J 750M模型。作為 土耳其語數據倉庫 計劃的一部分發布，金絲雀系列有兩個版本（Kanarya - 2B和Kanarya - 0.7B）。Kanarya - 2B是較大的版本，Kanarya - 0.7B是較小的版本。這兩個模型都在大規模的土耳其語文本語料庫上進行訓練，這些語料庫是從OSCAR和mC4數據集中篩選出來的。訓練數據收集自各種來源，包括新聞、文章和網站，以創建一個多樣化且高質量的數據集。模型使用 GPT - J 架構的JAX/Flax實現進行訓練。這些模型僅經過預訓練，旨在針對廣泛的土耳其語自然語言處理（NLP）任務進行微調。

📚 詳細文檔

模型詳情

預期用途

此模型僅在土耳其語文本數據上進行了預訓練，旨在針對廣泛的土耳其語NLP任務進行微調。該模型可用於各種土耳其語NLP任務，包括文本生成、翻譯、摘要等。此模型不適合在未進行微調的情況下用於任何下游任務。

侷限性和倫理考量

該模型在多樣化且高質量的土耳其語文本語料庫上進行訓練，但仍可能生成有毒、有偏見或不道德的內容。強烈建議負責任地使用該模型，並確保生成的內容適合具體用例。請負責任地使用該模型並報告任何問題。

📄 許可證

該模型採用Apache 2.0許可證。可免費用於任何目的，包括商業用途。我們鼓勵用戶為模型做出貢獻並報告任何問題。然而，模型是“按原樣”提供的，不提供任何形式的保證。

📖 引用

如果您使用了該模型，請引用以下論文：

@inproceedings{safaya-etal-2022-mukayese,
    title = "Mukayese: {T}urkish {NLP} Strikes Back",
    author = "Safaya, Ali  and
      Kurtulu{\c{s}}, Emirhan  and
      Goktogan, Arda  and
      Yuret, Deniz",
    editor = "Muresan, Smaranda  and
      Nakov, Preslav  and
      Villavicencio, Aline",
    booktitle = "Findings of the Association for Computational Linguistics: ACL 2022",
    month = may,
    year = "2022",
    address = "Dublin, Ireland",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2022.findings-acl.69",
    doi = "10.18653/v1/2022.findings-acl.69",
    pages = "846--863",
}

🙏 致謝

在這項工作中，Ali Safaya得到了 科奇大學人工智能中心（KUIS AI Center） 獎學金的支持。此外，這些模型的預訓練是在土耳其科學技術研究理事會高性能和網格計算中心（TRUBA 資源）上進行的。