Curie 7B V1

🚀 Curie-7B-v1

本項目展示了將英文大語言模型（LLM）微調用於波蘭語文本生成的潛力，通過語言自適應預訓練（LAPT）和後續微調，模型在波蘭語NLP任務中表現出色，且已開源，推動社區共同進步。

🚀 快速開始

本項目聚焦於將英文大語言模型微調用於波蘭語文本生成。通過在高質量的波蘭語數據集上進行語言自適應預訓練（LAPT），並在 KLEJ挑戰 上進行後續微調，Curie-7B-v1 模型取得了顯著的性能表現。

✨ 主要特性

• 高效微調：僅使用約2 - 3% 通常所需的數據集大小，就能在多個任務上接近最佳基線模型，展現了方法的高效性。
• 出色的文本生成能力：在基於解碼器的模型中，生成波蘭語文本的困惑度低至3.02。
• 多任務表現優秀：在9個KLEJ任務中的8個任務上，與最佳的波蘭語編解碼器模型表現相近。

📚 詳細文檔

語言自適應預訓練數據集

LAPT階段使用了 SpeakLeash數據集，這是一個全面的波蘭語文本集合，重點選取了原始1TB數據中約2GB的高質量提取部分。

硬件和軟件棧

實驗在配備 NVIDIA RTX A6000 ADA GPU（48GB VRAM）、AMD Epyc 7742處理器的服務器上進行，運行Ubuntu系統，使用Pytorch 2.0和CUDA 12.2。

自適應預訓練

模型使用AdamW優化器進行訓練，採用特定的超參數以優化性能。訓練在一個epoch內完成，總共耗時106小時，表明超過此時間點會出現過擬合現象。

超參數

• lora_rank：32
• lora_dropout：0.05
• lora_alpha：16
• warmup_steps：0.1
• learning_rate：2.5 x 10^-5
• neftune_noise_alpha：2
• batch_size：128
• max_seq_len：128

針對KLEJ下游任務的微調

Curie-7B-v1 在9個KLEJ任務中的8個任務上，與最佳基線模型表現極為接近，且使用的數據量顯著減少，展示了其在處理各種波蘭語NLP任務中的效率和能力。

性能亮點

• NKJP - NER：93.4
• CDSC - E：92.2
• CDSC - R：94.9
• CBD：49.0（有改進空間）
• PolEmo2.0 - IN：92.7
• PolEmo2.0 - OUT：80.0
• DYK：76.2
• PSC：98.6
• AR：86.8

🔧 技術細節

本項目的研究成果表明，通過語言自適應預訓練（LAPT），Curie-7B-v1 模型能夠在使用顯著更少數據的情況下，在多個下游任務上與基礎模型相匹配。其在生成波蘭語文本方面的通用性，以及能夠轉換為分類器、迴歸器和AI助手的能力，凸顯了該方法的有效性。

📄 許可證

本項目採用Apache - 2.0許可證。

📖 參考資料

有關此模型的研究工作和詳細信息，請參考Szymon Ruciński撰寫的研究論文 Efficient Language Adaptive Pre-training: Extending State-of-the-Art Large Language Models for Polish。