Leniachat Gemma 2b V0

🚀 言語モデルLenguajeNatural.AI Chat e Instrucciones 2B

このモデルは、スペイン語圏のコミュニティに高度なテキスト生成、チャット、命令機能を提供するために開発されました。

🚀 クイックスタート

このモデルは、Hugging FaceのAPIを通じて使用することができます。また、transformersライブラリを使用してアプリケーションに統合することもできます。以下に、モデルを読み込む例を示します。

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_name = "LenguajeNaturalAI/leniachat-gemma-2b-v0"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# テキスト生成
messages = [
  {"role": "system", "content": "Eres un asistente que ayuda al usuario a lo largo de la conversación resolviendo sus dudas."},
  {"role": "user", "content": "¿Qué fue la revolución industrial?"}
]
input_ids = tokenizer.apply_chat_template(messages, tokenize=True, return_tensors="pt")
with torch.no_grad():
  output = model.generate(input_ids, max_new_tokens=50)
print(tokenizer.decode(output[0], skip_special_tokens=True))

✨ 主な機能

• このモデルは、LenguajeNatural.AIによって開発され、スペイン語圏のコミュニティに高度なテキスト生成、チャット、命令機能を提供することを目的としています。
• モデルはgoogle/gemma-2bをベースに微調整され、スペイン語のチャットや命令タスクにおけるテキスト生成と理解能力が向上しています。
• モデルは3つの段階でトレーニングされ、多様なタスクで良好な性能を発揮します。

📦 インストール

このモデルを使用するには、transformersライブラリをインストールする必要があります。以下のコマンドでインストールできます。

pip install transformers

📚 ドキュメント

モデルの詳細

トレーニングの詳細

モデルは3つの段階でトレーニングされました。

1. スペイン語のマルチタスク学習：複数の教師付きデータセットを使用して、FLANスタイルのトレーニングを行いました。
2. 高品質な命令トレーニング：複雑な命令を理解し、応答を生成するようにモデルを微調整しました。
3. チャットと抽象的なQAのトレーニング：流暢な会話と抽象的な質問に対する応答生成を最適化しました。

評価の詳細

モデルの品質を確保するために、複数のデータセットで包括的な評価を行いました。スペイン語のテキスト生成と命令理解において、有意な性能を示しました。LeNIA-Chatモデルの評価の詳細は、以下の表に示されています。

🔧 技術詳細

• このモデルは、autotransformersライブラリを使用してトレーニングされました。

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で配布されています。

💡 使用アドバイス

このモデルは、テキスト生成、チャットボット、およびスペイン語の仮想アシスタントアプリケーションで使用するように設計されています。バイアスやエラーを最小限に抑えるようにトレーニングされていますが、特定の使用コンテキストでのパフォーマンスを評価することをお勧めします。ユーザーは、言語モデルに固有の制限を認識し、このモデルを責任を持って使用する必要があります。また、ベースモデルはわずか20億のパラメータを持っているため、このサイズのモデルに固有の制限を共有しています。

🌟 将来のバージョン

このモデルの改善を続け、将来的に機能を拡張したバージョンをリリースする予定です。最新情報は、公式ウェブサイトまたはLinkedInページをご確認ください。