Cymist2 V01 SFT

🚀 Cymist2-v0.1-SFT モデルカード

Cymist2-v0.1は、Cypien AIチームによって開発された最先端の言語モデルで、テキスト生成タスクに最適化されています。このモデルはtransformersライブラリを活用しており、Apache-2.0ライセンスの下で利用可能です。

🚀 クイックスタート

新しいバージョンが利用可能です

cymist-2-v02-SFT

モデルの説明

Cymist2-v0.1は、Cypien AIチームによって開発された最先端の言語モデルで、テキスト生成タスクに最適化されています。このモデルはtransformersライブラリを活用しており、Apache-2.0ライセンスの下で利用可能です。

直接利用

このモデルは、トルコ語の理解、RAG、およびテキスト生成機能を必要とする一般的なアプリケーションでの直接利用を想定しています。チャットボット、バーチャルアシスタント、および人間に近い応答の理解と生成が重要な他のAIシステムに統合することができます。

利用範囲外

このモデルは、誤った回答が危害をもたらす可能性のある重要なシステムや、一般的なテキスト生成の範囲を超えた特定のドメイン知識を必要とするコンテキストでの使用を想定していません。

バイアス、リスク、および制限

このモデルは、すべてのAIモデルと同様に、学習データからバイアスを引き継ぐ可能性があります。ユーザーはこれらの潜在的なバイアスに注意し、モデルをアプリケーションに統合する際に考慮する必要があります。

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "cypienai/cymist2-v01-SFT"
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16)
tokenizer = AutoTokenizer.from_pretrained(model_name)
tokenizer.pad_token_id = tokenizer.eos_token_id

高度な使用法

Flash-Attention 2を使用して生成をさらに高速化するには、まずflash-attnをインストールする必要があります。そのパッケージのインストールについては、Flash Attentionのオリジナルリポジトリを参照してください。上記のコードを以下のように変更するだけです。

model = AutoModelForCausalLM.from_pretrained(
        model_name,
        torch_dtype=torch.bfloat16,
        attn_implementation="flash_attention_2"
        )

このモデルのプロンプトテンプレートの例

question="Yenilenebilir gıdalar nelerdir ?"
prompt= f"[INST] {question} [/INST]"

with torch.inference_mode():
  input_ids = tokenizer(prompt, return_tensors="pt").to(device)
  output = model.generate(**input_ids, max_new_tokens=8096)
  decoded_output = tokenizer.decode(output[0], skip_special_tokens=False)
  print(decoded_output)

📚 詳細ドキュメント

学習詳細

学習データ

このモデルは、トルコ語と英語の多様なソースを用いて学習されました。幅広いトピックを網羅することで、包括的な言語理解を実現しています。

学習手順

前処理

学習データは、標準的なNLP前処理ステップを経ています。トークン化、正規化、およびデータ拡張を行い、モデルの頑健性を向上させています。

学習ハイパーパラメータ

• 学習率: 2e-4

環境への影響

Cymist2-v0.1-SFTの学習は、二酸化炭素排出量の最小化に重点を置いて行われました。詳細な二酸化炭素排出統計は、ハードウェアタイプ、使用時間、クラウドプロバイダー、コンピュートリージョン、および総排出量を考慮して、Machine Learning Impact calculatorに基づいて提供されます。

0.93 kgのCO2eq

二酸化炭素排出量は、Lacoste et al. (2019)に提示されたMachine Learning Impact calculatorを使用して推定することができます。

技術仕様

モデルのアーキテクチャ、コンピュートインフラストラクチャ、ハードウェア、およびソフトウェアを含む、より詳細な技術仕様は、モデルの動作コンテキストに関する洞察を提供するために提供されます。

引用

このモデルを研究で引用する場合は、モデルの開発と機能に関する情報についてこのモデルカードを参照してください。

用語集

モデルに関連する特定の用語や計算方法を定義する用語集セクションを追加することができます。これにより、すべての潜在的なユーザーにとって明確性が向上します。

その他の情報 [オプション]

モデルに関する詳細情報や問い合わせは、Cypien AIチームにお問い合わせください。

モデルカードの問い合わせ先

info@cypien.ai

CypienAIチーム

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。