Ahma 7B

🚀 芬蘭語版Ahma-7B模型

Ahma-7B是一個基於Meta的Llama（v1）架構的70億參數的僅解碼器變換器模型，它是在芬蘭語數據上從頭開始預訓練的。原始的Llama模型架構在這篇論文中被提出，並首次在這個頁面發佈。

“Ahma”是什麼意思呢？“Ahma”在芬蘭語中是“狼獾”的意思！在芬蘭拉普蘭地區，狼獾是馴鹿遭受損害的最大原因。

有兩種不同大小的基礎Ahma模型，它們都是從頭開始預訓練的：針對1390億個標記的Ahma-3B和針對1490億個標記的Ahma-7B：

還有兩個經過指令微調的版本：

✨ 主要特性

• 基於Meta的Llama（v1）架構，在芬蘭語數據上從頭開始預訓練。
• 採用兩階段預訓練方法，使模型具備一定的指令跟隨能力。
• 提供不同大小的基礎模型和指令微調版本。

🚀 快速開始

預期用途和限制

此模型僅以自監督的方式進行預訓練，沒有進行任何有監督的訓練。你可以將此模型用於文本生成，或者針對下游任務進行微調。該模型採用了兩階段預訓練方法，在第二階段將單輪指令跟隨示例與其他訓練數據混合（在本README後面會詳細解釋）。由於這種方法，這個預訓練模型已經具備了指令跟隨能力，但如果你針對指令跟隨或其他用例進行特定的微調，可能會獲得更好的結果。對於指令跟隨微調，你應該使用下面展示的相同提示格式。

如何使用

微調

我們現在已經添加了微調示例筆記本以及相關視頻！

• 筆記本：https://huggingface.co/Finnish-NLP/Ahma-3B/blob/main/Finetune_Ahma_3B_example.ipynb
• 視頻：https://www.youtube.com/watch?v=6mbgn9XzpS4

推理

如果你想將此模型用於指令跟隨，你需要使用我們在預訓練第二階段使用的相同提示格式（基本上與Meta在其Llama2模型中使用的格式相同）。注意：不要使用transformers庫中的“LlamaTokenizer”，而應始終使用AutoTokenizer，或者使用普通的sentencepiece分詞器。 以下是一個使用指令跟隨提示格式的示例，你可以根據需要修改一些生成參數：

from transformers import AutoTokenizer, AutoModelForCausalLM

system_prompt = "Olet tekoälyavustaja. Vastaat aina mahdollisimman avuliaasti. Vastauksesi eivät saa sisältää mitään haitallista, epäeettistä, rasistista, seksististä, vaarallista tai laitonta sisältöä. Jos kysymyksessä ei ole mitään järkeä tai se ei ole asiasisällöltään johdonmukainen, selitä miksi sen sijaan, että vastaisit jotain väärin. Jos et tiedä vastausta kysymykseen, älä kerro väärää tietoa."


def format_prompt(prompt: str) -> str:
    prompt = f" [INST] <<SYS>>\n{system_prompt.strip()}\n<</SYS>>\n\n{prompt.strip()} [/INST] "
    return prompt


tokenizer = AutoTokenizer.from_pretrained("Finnish-NLP/Ahma-7B")
model = AutoModelForCausalLM.from_pretrained("Finnish-NLP/Ahma-7B")
model = model.to("cuda")

# use the custom prompt format function or the chat template feature in the tokenizer to format your inputs

# prompt = format_prompt("Listaa kolme hyötyä, joita pienet avoimen lähdekoodin kielimallit tuovat?")
# inputs = tokenizer(prompt, return_tensors="pt")

messages = [
    {
        "role": "system",
        "content": system_prompt,
    },
    {"role": "user", "content": "Listaa kolme hyötyä, joita pienet avoimen lähdekoodin kielimallit tuovat?"},
]
inputs = tokenizer.apply_chat_template(
    messages, tokenize=True, add_generation_prompt=True, return_tensors="pt"
)
inputs = inputs.to("cuda")

generated_ids = model.generate(
    inputs,
    temperature=0.6,
    penalty_alpha=0.6,
    top_k=4,
    do_sample=True,
    repetition_penalty=1.2,
    min_length=5,
    max_length=2048,
)
generated_text = tokenizer.batch_decode(
    generated_ids, skip_special_tokens=False
)[0]

"""
1. Parempi luettavuus ja ymmärtäminen: Pienten avoimen lähdekoodin kielimallien avulla voidaan luoda ymmärrettävämpää ja luettavampaa tekstiä, mikä helpottaa ihmisten ymmärtämistä ja tiedon hankkimista.
2. Parempi mukautuvuus ja monipuolisuus: Avoimen lähdekoodin mallit antavat kehittäjille mahdollisuuden luoda räätälöityjä ratkaisuja omiin tarpeisiinsa, jolloin he voivat hyödyntää olemassa olevaa tietämystä ja asiantuntemusta.
3. Lisääntynyt yhteistyö ja avoimuus: Avoimen lähdekoodin mallien ansiosta kehittäjät voivat tehdä yhteistyötä muiden kanssa, jakaa ideoita ja parantaa koodin laatua jakamalla oivalluksia ja parhaita käytäntöjä. Tämä edistää yhteistyöhön perustuvaa ympäristöä ja kannustaa jatkuvaan parantamiseen.
"""

如果你願意，也可以嘗試不同的系統提示指令。

限制和偏差

此模型僅使用芬蘭語文本進行訓練，不包括代碼，因此不應用於多語言和代碼生成用例。

該模型使用的訓練數據包含大量來自互聯網的內容，這些內容遠非中立。因此，模型可能會有有偏差的預測。這種偏差也會影響該模型的所有微調版本。

為了減少有毒內容，訓練數據使用了毒性分類器進行過濾，但它無法真正消除所有有毒文本。

📦 訓練數據

此模型在14個數據集的組合上進行預訓練：

• CulturaX_fi_cleaned，我們對原始CulturaX數據集中的芬蘭語部分進行了清理。
• HPLT_1.2_fi_cleaned，我們對原始HPLT v1.2數據集中的芬蘭語部分進行了清理。
• wikipedia_20231101_fi_cleaned，我們使用了2023年11月的維基百科芬蘭語子集。
• Reddit_fi_2006_2022，經過過濾和後處理的芬蘭語Reddit數據集。
• Yle Finnish News Archive 2011 - 2018
• Yle Finnish News Archive 2019 - 2020
• Finnish News Agency Archive (STT)
• The Suomi24 Sentences Corpus
• Project Lönnrot
• Finnish parliament speeches
• multilingual_cc_news，我們使用了多語言CC - News數據集中的芬蘭語子集。
• fi-news-corpus
• 芬蘭高等教育公開論文
• 芬蘭單輪指令跟隨數據集，由多個最初公開許可的英語數據集翻譯成芬蘭語組合而成。例如，Ultrachat, Aya, Capybara等

原始數據集經過自動清理，以過濾掉低質量和非芬蘭語的示例。此外，使用僅用非常乾淨的芬蘭語文本訓練的KenLM模型為所有文本計算了困惑度分數。這個困惑度分數可以用來確定文本包含的芬蘭語的“乾淨”程度。為了減少有毒文本，我們使用了圖爾庫自然語言處理小組（TurkuNLP）發佈的芬蘭語毒性分類器TurkuNLP/bert-large-finnish-cased-toxicity對所有文本示例進行分類。分類後的毒性標籤分數可以用來確定文本的毒性程度。

所有數據集被連接起來，並使用text - dedup中的MinHashLSH對整個數據集進行近似去重。使用前95%的困惑度分數作為過濾閾值，過濾掉質量最差的5%的文本。為了減少有毒內容的數量，數據集被過濾為只包含“label_identity_attack”、“label_insult”、“label_threat”和“label_severe_toxicity”毒性標籤分數低於80%的文本示例。

最後，從CulturaX、維基百科、Yle、STT、Suomi24和Reddit數據集中各隨機選擇20,000個文本示例作為評估數據集。

最終的訓練數據集有230億個單詞（使用正則表達式“\w+”計算），評估數據集有2300萬個單詞。經過分詞後，訓練數據集有410億個標記，評估數據集有4000萬個標記。對於兩階段預訓練，訓練數據集劃分如下：

第一階段：

第二階段：

🔧 技術細節

預處理

使用SentencePiece實現的字節對編碼（BPE）對文本進行分詞，將所有數字拆分為單個數字，並使用字節來分解未知的UTF - 8字符。總詞彙量大小為64k個標記。輸入是2048個連續標記的序列。文本不進行小寫處理，因此該模型區分大小寫：“finnish”和“Finnish”是不同的。在預訓練中使用了BOS和EOS標記。

兩階段預訓練

該模型在由Google TPU Research Cloud贊助的TPUv4 - 32虛擬機上進行訓練。訓練使用了基於Jax/Flax的EasyLM框架的略微修改版本，並受到了OpenLLaMA項目的啟發。使用的優化器是Lion。

兩階段預訓練方法受到了MiniCPM研究結果的啟發。在第一階段（佔整個訓練的79%），我們使用了噪聲較大的網絡抓取數據集。在第二階段（佔整個訓練的21%），我們主要使用了更乾淨的數據集和指令跟隨數據集混合在一起，就像MiniCPM那樣。兩階段預訓練的學習率調度是預熱 - 穩定 - 衰減（WSD）。在第一階段，學習率調度在大約80億個標記上進行線性預熱，達到1e - 4的峰值學習率（注意：使用Lion優化器時，學習率必須比常用的AdamW小約10倍），然後是一個穩定階段，保持1e - 4的學習率不變。在第二階段，學習率調度在最初的70億個標記上從1e - 4線性衰減到6e - 6，然後是剩餘標記的穩定階段。

在第一階段，模型針對1180億個標記進行訓練，大約是第一階段訓練數據的三個輪次，這受到了這篇論文研究結果的啟發。在第二階段，模型針對310億個標記進行訓練，接近第二階段訓練數據的五個輪次。

由於採用了WSD學習率調度，你可以更輕鬆地嘗試不同的第一階段模型檢查點。例如，你可以在較早的檢查點上應用第二階段訓練，或者在第二階段之前繼續進行預訓練。模型檢查點每100,000個訓練步驟（大約130億個標記）推送到此存儲庫。

• 900K
• 800K
• 700K
• 600K
• 500K
• 400K
• 300K
• 200K
• 100K

📚 詳細文檔

評估結果

FIN - bench

這個Ahma 7B基礎模型主要使用圖爾庫自然語言處理小組（TurkuNLP）的FIN - bench進行評估，並對其他相關的芬蘭語模型進行了相同的評估以作比較：圖爾庫自然語言處理小組的FinGPT 8B、圖爾庫自然語言處理小組、SiloGen和HPLT的Viking 7B以及SiloGen、圖爾庫自然語言處理小組和HPLT的Poro 34B。以下是FIN - bench中0次射擊和3次射擊設置的結果。

0次射擊結果：

3次射擊結果：

可以看出，Ahma 7B基礎模型在算術任務上表現不佳，但在非算術任務上明顯優於相同大小的模型，如FinGPT 8B和Viking 7B，尤其是在0次射擊的使用場景中。在0次射擊的非算術任務中，Ahma 7B基礎模型甚至與大5倍的Poro 34B模型相當。這一結果可能歸因於Ahma的兩階段預訓練以及在預訓練階段包含指令跟隨示例。

在3次射擊設置中，結果更為複雜。Ahma 7B基礎模型在3次射擊設置中表現較差，可能是由於使用了指令提示格式，並且只有單輪指令跟隨訓練示例。

MTBench芬蘭語

這個Ahma 7B基礎模型還使用LumiOpen的MTBench芬蘭語進行了評估，儘管這個Ahma模型沒有針對聊天進行微調。由於MTBench還評估多輪聊天，而Ahma基礎模型僅使用單輪指令跟隨示例進行預訓練，我們分別報告了MTBench芬蘭語單輪和多輪評估示例的結果。為了進行比較，我們從SiloGen、圖爾庫自然語言處理小組和HPLT的Poro 34B聊天模型的模型卡片中複製了其可能的多輪結果。

單輪結果：

多輪結果：

可以看出，正如預期的那樣，Ahma 7B基礎模型在多輪示例中表現不佳，因為它僅使用單輪指令跟隨示例進行預訓練。此外，編碼性能如預期的那樣較差，因為Ahma 7B模型沒有使用代碼數據進行訓練。在單輪設置中，Ahma 7B優於Ahma 3B基礎模型和指令微調版本，展示了通過指令微調進一步改進的更大基礎能力。

📄 許可證

本項目採用Apache 2.0許可證。

致謝

如果沒有谷歌通過TPU Research Cloud慷慨提供的計算資源，這個項目是不可能完成的。

團隊成員

• Aapo Tanskanen，Hugging Face個人資料，領英個人資料
• Rasmus Toivanen，Hugging Face個人資料，領英個人資料

如有更多細節需求，請隨時聯繫我們🤗