Wikichat V2

🚀 WikiChat-v0.2

会話を行うための学習中のモデルです。アップロードされたGGUFは完全なFP32精度です。OpenOrca GPT - 4データ、コズモペディアの追加データ、およびdolly15kの命令データを使用しています。

🚀 クイックスタート

WikiChat - v0.2は会話を行うために学習中のモデルです。現在アップロードされているGGUFは全てFP32精度です。

✨ 主な機能

• 会話を行うことができます。
• OpenOrca GPT - 4データ、コズモペディア、dolly15kを用いた学習により、多様なデータを反映しています。

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

基本的な使用法

# このコードは実際には存在しませんが、使用例としての構造を示します
# モデルに質問を投げる
question = "What is the square root of 4?"
# モデルから応答を得る
answer = model.generate(question)
print(answer)

高度な使用法

# プロンプトをAlpaca形式で構築する例
system = "You are a helpful assistant."
prompt = "What is the square root of 4?"
formatted_prompt = f"Instruction: {system}\nInput: {prompt}\nResponse: "
answer = model.generate(formatted_prompt)
print(answer)

📚 ドキュメント

モデル詳細

プロンプト形式 (Alpaca)

Instruction: {system}
Input: {prompt}
Response: {response}

パフォーマンスを最大化するために、命令形式でプロンプトを構築してください。

学習詳細

• ハードウェア環境
  • 1x RTX 3070 8GB (推論速度: 80tok/s、完全GPUオフロード)
  • 1x Ryzen 3 3700x
  • 96GB RAM
• 学習パラメータ
  • イテレーション数: 10
  • 損失目標: 2.5から3.0
  • 約480サンプル/1M学習トークン (>0.0001エポック)
  • 学習データ: OpenOrcaページを参照

🔧 技術詳細

このREADMEには具体的な技術詳細が十分に記載されていないため、このセクションは省略されます。

📄 ライセンス

このモデルはApache - 2.0ライセンスの下で提供されています。

注意事項

⚠️ 重要提示

このモデルはまだ完成していません。OpenOrcaのトークン化のテスト、および学習速度とモデルサイズのバランスを調べるためのものです。