Slovak Gpt J 405M

🚀 斯洛伐克GPT-J-405M

斯洛伐克GPT-J-405M是斯洛伐克GPT-J系列中發佈的第二款模型，此前發佈了較小版本的斯洛伐克GPT-J-162M。此後，又發佈了更大的斯洛伐克GPT-J-1.4B。

📚 詳細文檔

模型描述

該模型基於GPT-J構建，擁有超過4.05億個可訓練參數。

訓練數據

斯洛伐克GPT - J模型在一個私有收集的數據集上進行訓練，該數據集主要由斯洛伐克語不同類別的文本組成，例如網頁、新聞文章甚至聖經文本。總共使用了超過40GB的文本數據來訓練這個模型。 該數據集經過了特定的預處理和清理，其中涉及一些細微但需要注意的事項。因此，為了達到預期的性能，請參考[使用方法]部分。請記住，儘管努力移除了不適當的語料，但模型仍可能生成敏感內容或洩露敏感信息。

訓練過程

該模型在TPU v3 - 8 pod上經過69,001步，對超過365億個標記進行了訓練。最後一步的交叉熵驗證損失為2.821。

預期用途

與原始的GPT - J一樣，斯洛伐克GPT - J學習語言的內部表示，可用於提取對下游任務有用的特徵。不過，其預期用途是根據提示進行文本生成。

💻 使用示例

基礎用法

可以使用AutoModelForCausalLM功能輕鬆加載該模型和分詞器：

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("Milos/slovak-gpt-j-405M")
model = AutoModelForCausalLM.from_pretrained("Milos/slovak-gpt-j-405M")

在生成提示時，請記住以下三點：

1. 不要留有尾隨空格。分詞器對“Mám rád slovenčinu”（slovenčinu後無空格）和“Mám rád slovenčinu ”（slovenčinu後有尾隨空格）的編碼是不同的，即[12805, 2872, 46878] != [12805, 2872, 46878, 221]。
2. 始終使用標準的美式英語雙引號，即""而不是„“。
3. 換行時始終輸入\n\n而不是單個\n

以下是一個基本文本生成的示例：

>>> prompt = "Tradičné jedlo na Orave sú"
>>> encoded_input = tokenizer(prompt, return_tensors='pt')
>>> output = model.generate(**encoded_input)
>>> tokenizer.decode(output[0])
'Tradičné jedlo na Orave sú bryndzové halušky\n\nNa Orave sa v minulosti varilo viac druhov'

高級用法

生成“How to”文章

PROMPT
Ako napísať pôsobivú esej krok za krokom
OUTPUT
Ako napísať pôsobivú esej krok za krokom

V tomto článku sa dozviete, ako napísať esej, ktorá bude mať v sebe niečo, čo zaujme a bude sa vám páčiť.

V prvom rade si musíte uvedomiť, že esej je vlastne písaný text, ktorý má byť napísaný na počítači.'

不過，不建議依賴該模型生成事實準確的信息。

生成聊天對話

PROMPT
Peter: Ako sa mas?

Lucia: Ale celkom dobre. Co si robil?

Peter:
OUTPUT
Peter: Ako sa mas?

Lucia: Ale celkom dobre. Co si robil?

Peter: No, bol som na chate.

Lucia: A co si tam robil?

Peter: No, bol som tam s kamošmi.

Lucia: A co si tam robil?

Peter: No, bol som tam s kamošmi.

顯然，在這個特定上下文中，要麼彼得們更有可能表現得可疑，要麼模型存在問題。我們假設第二種解釋可能有一定道理。一般來說，GPT模型可能（而且經常會）陷入生成相同內容的循環。這是一個超出本README範圍的常見問題，不過，請參閱generate的文檔，瞭解如何引入頻率/重複懲罰。

由於數據集包含褻瀆性、政治不正確的語言，並且（無意地）甚至包含一些捷克語文本，模型在一定程度上也可能生成這些內容。以下是當提示為捷克語時模型輸出的示例：

>>> prompt = "Věta nesmí být sprostá a musí být zcela"
>>> encoded_input = tokenizer(prompt, return_tensors='pt')
>>> output = model.generate(**encoded_input, max_length=16)
>>> tokenizer.decode(output[0])
'Věta nesmí být sprostá a musí být zcela pravdivá.'

📄 許可證

本項目採用GPL - 3.0許可證。

📚 引用及相關信息

這是2021年夏天作為副業項目完成的，目的是更好地理解Transformer。當時沒有太多空閒時間將其正確開源，所以這些內容一直放在我的硬盤裡，直到現在。

如果您使用此模型或有任何相關問題，請在Twitter上聯繫我，或查看我的GitHub個人資料。

BibTeX引用

引用此模型：

@misc{slovak-gpt-j-405m,
  author = {Kondela, Milos},
  title = {{Slovak GPT-J-405M}},
  howpublished = {\url{https://huggingface.co/Milos/slovak-gpt-j-405M}},
  year = 2022,
  month = February
}

引用訓練此模型的代碼庫：

@misc{mesh-transformer-jax,
  author = {Wang, Ben},
  title = {{Mesh-Transformer-JAX: Model-Parallel Implementation of Transformer Language Model with JAX}},
  howpublished = {\url{https://github.com/kingoflolz/mesh-transformer-jax}},
  year = 2021,
  month = May
}

🙏 致謝

本項目得到了TPU研究雲（TRC）計劃的慷慨支持。同時也要感謝Ben Wang和優秀的EleutherAI社區。