Goppa LogiLlama

🚀 LogiLlama

LogiLlama は、Goppa AIによって開発されたファインチューニングされた言語モデルです。LLaMAの10億パラメータのベースモデルをベースに構築され、知識注入と論理的推論能力が強化されています。当社の使命は、小規模なモデルをより賢くすることです。メモリ使用量を抑え、エネルギー効率を維持しながら、推論と問題解決能力を向上させ、デバイス上でのアプリケーションに最適化しています。

🚀 クイックスタート

LogiLlamaは、Goppa AIによって開発されたファインチューニングされた言語モデルです。LLaMAの10億パラメータのベースモデルをベースに構築され、知識注入と論理的推論能力が強化されています。

✨ 主な機能

• 強化された推論能力：論理的思考と知識統合が向上し、より正確で文脈に応じた応答を提供します。
• 効率性：低メモリと低エネルギー消費で、デバイス上での処理に最適化されています。
• 透明性：トレーニングプロセスと設定ファイルは完全にオープンソースであり、透明で再現可能な研究への取り組みを反映しています。

📦 インストール

このセクションでは、LogiLlamaを使用するためのセットアップ方法を説明しません。使用にはHugging Face Transformersライブラリが必要です。

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM, AutoTokenizer

# Load tokenizer and model from our repository
tokenizer = AutoTokenizer.from_pretrained("goppa-ai/Goppa-LogiLlama", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("goppa-ai/Goppa-LogiLlama", trust_remote_code=True)

model.to('cuda')
text = "When faced with a complex problem, what should one do?"
input_ids = tokenizer(text, return_tensors="pt").to('cuda').input_ids
outputs = model.generate(
    input_ids,
    max_length=2500,
    temperature=0.6,
    top_p=0.9,
    repetition_penalty=1.2,
    pad_token_id=tokenizer.eos_token_id
)
print(tokenizer.batch_decode(outputs[:, input_ids.shape[1]:-1])[0].strip())

📚 ドキュメント

モデル概要

最近の言語モデルの傾向はパラメータの拡大に向かっていますが、LogiLlamaは「少なくても多くを意味する」ことを示しています。10億パラメータのベースモデルを高度な論理的推論技術でファインチューニングすることで、LogiLlamaは以下のような特徴を提供します。

モデルの説明

設定ファイル

モデルリポジトリには、LogiLlamaがHugging Faceエコシステム内でシームレスに機能するためのいくつかの重要な設定ファイルが含まれています。

• config.json：隠れ層のサイズ、層の数、アテンションヘッドなどのモデルアーキテクチャ設定やその他のハイパーパラメータが含まれています。
• generation_config.json：温度、トップpサンプリング、シーケンス終了トークンなどの生成パラメータを定義しています。
• special_tokens_map.json：トークン化中に使用される特殊トークン（例：テキストの開始、テキストの終了、パディング）をマッピングしています。
• tokenizer_config.json：トークナイザーのメタデータと設定を提供し、モデルの語彙と特殊トークンとの一貫性を確保します。

トレーニングの詳細

LogiLlamaは、10億パラメータのLLaMAベースモデルに論理的推論とドメイン固有の知識を注入してファインチューニングされました。トレーニングデータを慎重に選定し、特殊な手法を用いることで、モデルのサイズを大幅に増やすことなく推論タスクを処理する能力を強化しました。このプロジェクトは、パフォーマンスを損なうことなく小規模で効率的なモデルを進化させるという当社のコミットメントを示しています。

引用

もしあなたが研究でLogiLlamaを使用する場合は、以下のように引用してください。

@misc{goppa2025logillama,
      title={LogiLlama: Injecting Logical Reasoning into Small Language Models}, 
      author={Goppa AI},
      year={2025},
      note={https://github.com/GoppaAI/LogiLlama}
}

📄 ライセンス

LogiLlamaは MIT License の下でリリースされています。

推論とデプロイメント

• モデルサイズ：10億パラメータ
• テンソルタイプ：float32 (F32)
• デプロイメント：デバイス上での推論とリソース制約のある環境に最適化されています。現在はローカルデプロイメントが可能です。ホスト型推論ソリューションの更新にご期待ください。

Goppa AIでは、言語モデルの効率性と知性の限界を広げることに取り組んでいます。LogiLlamaは、リソースにやさしく、複雑な推論タスクを処理できる小規模モデルを作成するための第一歩です。

革新的な開発を楽しんでください！