Llama 2 7b Ukrainian

🚀 Llama-2-7b-Ukrainian

Llama-2-7b-Ukrainianは、ウクライナ語と英語をサポートするバイリンガルの事前学習モデルです。このモデルは、ウクライナ語と英語のテキスト生成に役立ち、特定のデータセットでの追加学習により、両言語での性能を向上させています。

📚 ドキュメント

モデルの説明

Llama-2-7b-Ukrainianは、ウクライナ語と英語をサポートするバイリンガルの事前学習モデルです。Llama-2-7b からの継続的な事前学習が行われ、CulturaX からのウクライナ語文書75%と英語文書25%からなる50億トークンで学習されています。

論文: To Err Is Human, but Llamas Can Learn It Too

学習ハイパーパラメータ

📄 ライセンス

このモデルは、Llama2ライセンスの下で提供されています。

引用

BibTeX:

@article{luhtaru2024err,
  title={To Err Is Human, but Llamas Can Learn It Too},
  author={Luhtaru, Agnes and Purason, Taido and Vainikko, Martin and Del, Maksym and Fishel, Mark},
  journal={arXiv preprint arXiv:2403.05493},
  year={2024}
}