SOLAR Math 2x10.7b V0.2

🚀 🌞🚀 SOLAR-math-10.7x2-v0.2_19B

このモデルは、2つのSolar-10.7Bの指示微調整をマージしたものです。GPT-3.5やGemini Proと同等の性能を発揮し、Mixtral-8x7bのすべてのスコアを上回っています。

以下は評価結果の簡単な概要です。これらはユーザーが比較のために値を参照できるようにするためのものであり、完全な分析を表すものではありません。

🚀 クイックスタート

このセクションでは、モデルの基本的な使い方を説明します。

✨ 主な機能

• このモデルは、GPT-3.5やGemini Proと同等の性能を発揮します。
• Mixtral-8x7bのすべてのスコアを上回っています。

📦 インストール

このドキュメントにはインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

基本的な使用法

コード例はcolabでも利用可能です。

from transformers import AutoModelForCausalLM, AutoTokenizer

def generate_response(prompt):
    """
    Generate a response from the model based on the input prompt.

    Args:
    prompt (str): Prompt for the model.

    Returns:
    str: The generated response from the model.
    """
    # Tokenize the input prompt
    inputs = tokenizer(prompt, return_tensors="pt")
    
    # Generate output tokens
    outputs = model.generate(**inputs, max_new_tokens=512, eos_token_id=tokenizer.eos_token_id, pad_token_id=tokenizer.pad_token_id)

    # Decode the generated tokens to a string
    response = tokenizer.decode(outputs[0], skip_special_tokens=True)

    return response


# Load the model and tokenizer
model_id = "macadeliccc/SOLAR-math-2x10.7B-v0.2"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, load_in_4bit=True)

prompt = "Explain the proof of Fermat's Last Theorem and its implications in number theory."


print("Response:")
print(generate_response(prompt), "\n")

出力例:

フェルマーの最終定理の証明とその数論における意味を説明してください。

フェルマーの最終定理（Fermat's Last Theorem、FLTとも呼ばれる）は、「任意の整数n > 2に対して、3つの正の整数a、b、cが方程式a^n + b^n = c^nを満たすことはできない」という有名な数学的予想です。この定理は17世紀にピエール・ド・フェルマーによって最初に提案されましたが、その証明は20世紀後半にアンドリュー・ワイルズによって発見されました。

アンドリュー・ワイルズが1993年と1994年に発表したフェルマーの最終定理の証明は複雑で、いくつかの高度な数学的概念を含んでいます。証明の主なアイデアは、多項式方程式で定義される代数曲線である標数的楕円曲線の使用です。ワイルズは、有理数上の特定の楕円曲線と特定の尖点形式の間に1対1の対応があるという谷山 - 志村予想という新しい概念を導入しました。

ワイルズによるFLTの証明は、谷山 - 志村予想が真であるという仮定に基づいています。彼は、谷山 - 志村予想が真であれば、フェルマーの最終定理も真でなければならないことを示しました。この証明戦略は「背理法による証明」として知られています。ワイルズは、FLTが偽であるとすると、谷山 - 志村予想の反例が存在することを示しました。しかし、谷山 - 志村予想は真であると信じられているため、これは矛盾につながります。したがって、背理法の原理により、フェルマーの最終定理は真でなければなりません。

フェルマーの最終定理の数論における意味は大きいです。FLTは整数の研究における基本的な結果であり、その証明はさまざまな数学的概念の理解を深めることにつながりました。FLTの証明はまた、代数幾何学、表現論、そして数論自体など、他の数学分野の発展にも貢献しました。

さらに、この定理は長年未解決であった問題を解決することで、数論の基礎を強化するのに役立ちました。また、FLTの証明が関連分野の新しい調査の道を開いたため、数学者たちに新しい研究方向を探求するよう促しました。

📚 ドキュメント

評価結果

ARC

平均: 71.76%

HellaSwag

平均: 88.01%

引用

@misc{kim2023solar,
      title={SOLAR 10.7B: Scaling Large Language Models with Simple yet Effective Depth Up-Scaling}, 
      author={Dahyun Kim and Chanjun Park and Sanghoon Kim and Wonsung Lee and Wonho Song and Yunsu Kim and Hyeonwoo Kim and Yungi Kim and Hyeonju Lee and Jihoo Kim and Changbae Ahn and Seonghoon Yang and Sukyung Lee and Hyunbyung Park and Gyoungjin Gim and Mikyoung Cha and Hwalsuk Lee and Sunghun Kim},
      year={2023},
      eprint={2312.15166},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

Open LLM Leaderboardの評価結果

詳細な結果はこちらで確認できます。

🔧 技術詳細

このドキュメントには技術的な詳細が記載されていないため、このセクションをスキップします。

📄 ライセンス

このモデルはCC BY-NC 4.0ライセンスの下で提供されています。