Arrowneo AME 4x3B V0.1 MoE

🚀 DataPilot/ArrowNeo-AME-4x3B-v0.1-MoE

このモデルはAItuberの魂として活用することを目的として開発されています。SB intuitionsのsarashina-2.2-instruct-v0.1をベースに、UnsothとMergekit-MoEを用いて構築されています。

🚀 クイックスタート

このモデルを動かすには、以下の手順に従ってください。

✨ 主な機能

• このモデルは一つのベースモデルと3つのエキスパートモデルを統合したものです。
• エキスパートモデルには、コーディング特化モデル、プロンプト追従性能を高めたモデル、マルチターン性能を高めたモデルが含まれています。
• Mergekit-MoEを用いることで、動作の軽快さとパラメータ数を両立しています。

📦 インストール

このモデルを使用するには、必要なライブラリをインストールする必要があります。以下のコードを実行することで、モデルをロードできます。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline, set_seed

# モデルのロード
model_name = "DataPilot/ArrowNeo-AME-4x3B-v0.1-MoE"
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_name)
chat_pipeline = pipeline("text-generation", model=model, tokenizer=tokenizer)
set_seed(123)

💻 使用例

基本的な使用法

以下のコードでこのモデルを動かすことができます。

# ユーザーの入力
user_input = [{"role": "user", "content": "こんにちは。Pythonを用いてstrawberryのRをカウントするコードを書いて下さい。"}]

# モデルによる応答生成
responses = chat_pipeline(
    user_input,
    max_length=50,
    do_sample=True,
    num_return_sequences=2,
)

# 応答を表示
for i, response in enumerate(responses, 1):
    print(f"Response {i}: {response['generated_text']}")

🔧 技術詳細

このモデルは、SB intuitionsのsarashina-2.2-instruct-v0.1をベースに構築されています。Mergekit-MoEを用いて、3つのエキスパートモデルを統合しています。エキスパートモデルはUnslothと合成データを用いて作成されています。

📄 ライセンス

このモデルのライセンスはMITライセンスに準拠しており、元モデルのライセンスに従います。

⚠️ 重要提示

このモデルには、安全トレーニングが制限されています。したがって、いくつかの無意味なシーケンス、いくつかの不正確なインスタンス、または偏った/不快な出力を生成する可能性があります。使用する前に、開発者は人間の好みと安全上の考慮事項に基づいてモデルを調整していただきたいと思います。

📋 モデル情報

Mergekit-config

base_model: sbintuitions/sarashina2.2-3b-instruct-v0.1
gate_mode: hidden
dtype: bfloat16
experts:
  - source_model: DataPilot/ArrowNeo-Neko-3B-Instruct-v0.2
    positive_prompts:
      - "最近話題の生成AIが今後社会に与える影響について、具体例を交えつつあなたの考えを教えてください。"
      - "リモートワークの普及に伴い、仕事の生産性やコミュニケーションにはどのような変化があったと感じますか？具体的なメリット・デメリットを交えて教えてください。"
      - "Can you describe the ethical considerations we should have when using AI-generated content in educational contexts? Please provide specific examples."
      - "新規事業のアイデアを考えています。ターゲットは20代から30代の都市部在住の若い社会人で、忙しい日常の中で健康的な生活を送りたいと考えている層です。具体的にどのような商品やサービスが考えられるでしょうか？\n・目新しさや革新性\n・誰にどのようなメリットがあるか\n・実現可能性や収益構造\nこれらの点を踏まえて、3つのアイデアと、それぞれの成功要因やリスク要因を教えてください。"
      - "現在、私は日本の江戸時代における文化や社会システムについて調べています。特に、庶民がどのように日常を楽しんでいたのかに興味があります。\n・江戸時代の町人文化の要点\n・娯楽や行事、季節のイベントなど具体例\n・それらが現代社会に与えた影響\nこれらをわかりやすくかつ詳しく説明してください。学術的な視点も混ぜながら、なるべく専門用語を平易に翻訳してもらえると助かります。"
      - "最近、休日の過ごし方をマンネリ化していると感じていて、新しい趣味を探しています。できれば、家でも外でも楽しめる趣味がいいのですが、何か良いアイデアはありますか？"
  - source_model: DataPilot/ArrowNeo-Neko-3B-Instruct-v0.1
    positive_prompts:
      - "日本の少子高齢化問題の現状について説明してください。また、この問題に対する日本政府が現在行っている具体的な政策や施策、さらにそれらの効果と課題を合わせて述べてください。説明は段落ごとに分け、論理的にまとめてください。"
      - "世界的に有名な5人の画家を挙げ、それぞれについて以下の項目を簡潔にまとめてください。\n名前と活躍した時代\n代表作とその特徴\n後世への影響や評価のポイント\nわかりやすく箇条書きで整理して回答してください。"
      - "Explain clearly the differences between machine learning, deep learning, and artificial intelligence. Provide examples for each category and discuss briefly how each one is applied practically in today's technology. Please organize your response into clear sections."
      - "パンダはなぜ笹ばかり食べているのか、簡単に教えて。"
      - "「桃太郎」のストーリーを短く3文以内でまとめて。"
      - "Quickly tell me an interesting fact about space travel that most people don't know."
  - source_model: DataPilot/ArrowNeo-Neko-3B-coder
    positive_prompts:
      - "Pythonを用いて、与えられた整数のリスト内から重複している値を見つけ、それらを昇順に並べた新しいリストを返す関数を作成してください。\n関数名はfind_duplicatesとしてください。\n入力の例: [4, 5, 6, 5, 2, 4, 9]\n出力の例: [4, 5]\nコードには簡単なコメントを付けてください。"
      - "PythonとBeautifulSoupを使って、架空のオンライン書店（例: https://examplebookstore.com）のトップページをスクレイピングするコードを書いて下さい。\nエラー処理（例外処理）も簡単に組み込んでください。"
      - "Write a Python function using Pandas that takes a CSV file containing sales data (columns: 'date', 'product', 'sales_amount') and returns a new dataframe with the total sales amount for each product sorted in descending order.\nInclude comments and show an example of how to call this function clearly."
      - "Pythonでリストを逆順にする一番簡単な方法を教えて。"
      - "JavaScriptで現在時刻をブラウザのコンソールに表示するコードを書いて。"
      - "Quickly explain the difference between a 'for loop' and a 'while loop' in Python with short examples."