SOLAR Math 2x10.7b V0.2

🚀 🌞🚀 SOLAR-math-10.7x2-v0.2_19B

本項目是兩個Solar - 10.7B指令微調模型的融合。該模型性能與GPT - 3.5和Gemini Pro相當，各項得分均超過Mixtral - 8x7b。

以下是評估結果的簡要概述，僅為方便用戶獲取數據進行對比，此表格並非完整分析。

🚀 快速開始

模型信息

許可證

本項目採用CC - BY - NC - 4.0許可證。

✨ 主要特性

• 性能表現出色，與GPT - 3.5和Gemini Pro相當，且各項得分超過Mixtral - 8x7b。
• 可進行文本生成任務，在多個數據集上有較好的評估結果。

📦 安裝

文檔未提及安裝步驟，暫不展示。

💻 使用示例

基礎用法

示例也可在colab中查看。

from transformers import AutoModelForCausalLM, AutoTokenizer

def generate_response(prompt):
    """
    Generate a response from the model based on the input prompt.

    Args:
    prompt (str): Prompt for the model.

    Returns:
    str: The generated response from the model.
    """
    # Tokenize the input prompt
    inputs = tokenizer(prompt, return_tensors="pt")
    
    # Generate output tokens
    outputs = model.generate(**inputs, max_new_tokens=512, eos_token_id=tokenizer.eos_token_id, pad_token_id=tokenizer.pad_token_id)

    # Decode the generated tokens to a string
    response = tokenizer.decode(outputs[0], skip_special_tokens=True)

    return response


# Load the model and tokenizer
model_id = "macadeliccc/SOLAR-math-2x10.7B-v0.2"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, load_in_4bit=True)

prompt = "Explain the proof of Fermat's Last Theorem and its implications in number theory."


print("Response:")
print(generate_response(prompt), "\n")

示例輸出：

費馬大定理（Fermat's Last Theorem，簡稱FLT）是一個著名的數學猜想，它指出“對於任何大於2的整數n，不存在三個正整數a、b和c能滿足方程a^n + b^n = c^n”。該定理最初由皮埃爾·德·費馬（Pierre de Fermat）在17世紀提出，但直到20世紀末才由安德魯·懷爾斯（Andrew Wiles）證明。

安德魯·懷爾斯在1993年和1994年發表的費馬大定理證明非常複雜，涉及多個高級數學概念。證明的主要思路是使用模橢圓曲線，這是由多項式方程定義的代數曲線。懷爾斯引入了一個名為谷山 - 志村猜想（Taniyama - Shimura conjecture）的新概念，該猜想指出有理數上的某些橢圓曲線與某些尖點形式之間存在一一對應關係。

懷爾斯對費馬大定理的證明基於谷山 - 志村猜想為真的假設。他證明了如果谷山 - 志村猜想為真，那麼費馬大定理也必然為真。這種證明策略被稱為“反證法”。懷爾斯證明了如果費馬大定理為假，那麼谷山 - 志村猜想就會存在反例。然而，由於谷山 - 志村猜想被認為是正確的，這就導致了矛盾。因此，根據反證法原理，費馬大定理必然為真。

費馬大定理在數論中的意義重大。它是整數研究中的一個基本結果，其證明有助於更好地理解各種數學概念。費馬大定理的證明也為其他數學領域的發展做出了貢獻，如代數幾何、表示論和數論本身。

此外，該定理通過解決一個長期存在的公開問題，加強了數論的基礎。它還鼓勵數學家探索新的研究方向，因為費馬大定理的證明為相關領域開闢了新的研究途徑。

🔧 技術細節

文檔未提供具體技術實現細節，暫不展示。

🏆 評估結果

ARC

平均：71.76%

HellaSwag

平均：88.01%

開放大語言模型排行榜評估結果

詳細結果可查看此處

📚 引用

@misc{kim2023solar,
      title={SOLAR 10.7B: Scaling Large Language Models with Simple yet Effective Depth Up-Scaling}, 
      author={Dahyun Kim and Chanjun Park and Sanghoon Kim and Wonsung Lee and Wonho Song and Yunsu Kim and Hyeonwoo Kim and Yungi Kim and Hyeonju Lee and Jihoo Kim and Changbae Ahn and Seonghoon Yang and Sukyung Lee and Hyunbyung Park and Gyoungjin Gim and Mikyoung Cha and Hwalsuk Lee and Sunghun Kim},
      year={2023},
      eprint={2312.15166},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}