Mistral Sk 7b

🚀 mistral-sk-7bモデルカード

mistral-sk-7b は、70億のパラメータを持つMistral-7B-v0.1大規模言語モデルのスロバキア語版です。このモデルは、特定のコーパスを用いてファインチューニングされ、スロバキア語の下流タスクに活用できます。

📚 ドキュメント

モデルの詳細

mistral-sk-7b は、Araneum Slovacum VII Maximumウェブコーパスのデータを使用して、Mistral-7B-v0.1大規模言語モデルを全パラメータファインチューニングすることで得られたスロバキア語モデルです。 このモデルは、コシツェ工科大学電気工学情報学部サイバネティクスと人工知能学科、スロバキア科学院社会心理学センター、スロバキア科学院L.シュチュール言語学研究所、およびČZ, o.z.が共同で開発しました。 これは、スロバキア語の下流タスクのためにさらにファインチューニングできるベースの事前学習モデルです。なお、このモデルにはモデレーションメカニズムはありません。

支援元

• 一部の研究成果は、CINECAが運営する高性能コンピューティングリソースを使用して得られました。このリソースは、スロバキア科学院運用センターとスロバキア国立スーパーコンピューティングセンターによる2023年のNational Leonardoアクセスコールで授与されました。

📄 ライセンス

このモデルはApache license 2.0の下で提供されています。