Arrowneo AME 4x3B V0.1 MoE

🚀 DataPilot/ArrowNeo-AME-4x3B-v0.1-MoE

This model is designed to serve as the soul of AItubers. It is based on SB intuitions' sarashina-2.2-instruct-v0.1 and created using Unsoth and Mergekit-MoE.

🚀 Quick Start

This model is a combination of one base model and three expert models. The expert models are as follows:

• Coding-specialized model (ArrowNeo-Neko-3B-coder)
• Model with enhanced prompt-following performance (ArrowNeo-Neko-3B-Instruct-v0.1)
• Model with enhanced multi-turn performance (ArrowNeo-Neko-3B-Instruct-v0.2)

The soul of an AItuber requires "multi-turn performance", "prompt-following performance", and "lightweight". To achieve these required performances, the above models were created and merged. By using Mergekit-MoE for merging, it was possible to achieve both smooth operation and an appropriate number of parameters.

💻 Usage Examples

Basic Usage

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline, set_seed

# Load the model
model_name = "DataPilot/ArrowNeo-AME-4x3B-v0.1-MoE"
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_name)
chat_pipeline = pipeline("text-generation", model=model, tokenizer=tokenizer)
set_seed(123)

# User input
user_input = [{"role": "user", "content": "こんにちは。Pythonを用いてstrawberryのRをカウントするコードを書いて下さい。"}]

# Generate responses from the model
responses = chat_pipeline(
    user_input,
    max_length=50,
    do_sample=True,
    num_return_sequences=2,
)

# Display the responses
for i, response in enumerate(responses, 1):
    print(f"Response {i}: {response['generated_text']}")

🔧 Technical Details

Limitations

This model has limited safety training. Therefore, it may generate some meaningless sequences, some inaccurate instances, or biased/offensive outputs. Developers are advised to adjust the model based on human preferences and safety considerations before use.

Mergekit-config

base_model: sbintuitions/sarashina2.2-3b-instruct-v0.1
gate_mode: hidden
dtype: bfloat16
experts:
  - source_model: DataPilot/ArrowNeo-Neko-3B-Instruct-v0.2
    positive_prompts:
      - "最近話題の生成AIが今後社会に与える影響について、具体例を交えつつあなたの考えを教えてください。"
      - "リモートワークの普及に伴い、仕事の生産性やコミュニケーションにはどのような変化があったと感じますか？具体的なメリット・デメリットを交えて教えてください。"
      - "Can you describe the ethical considerations we should have when using AI-generated content in educational contexts? Please provide specific examples."
      - "新規事業のアイデアを考えています。ターゲットは20代から30代の都市部在住の若い社会人で、忙しい日常の中で健康的な生活を送りたいと考えている層です。具体的にどのような商品やサービスが考えられるでしょうか？\n・目新しさや革新性\n・誰にどのようなメリットがあるか\n・実現可能性や収益構造\nこれらの点を踏まえて、3つのアイデアと、それぞれの成功要因やリスク要因を教えてください。"
      - "現在、私は日本の江戸時代における文化や社会システムについて調べています。特に、庶民がどのように日常を楽しんでいたのかに興味があります。\n・江戸時代の町人文化の要点\n・娯楽や行事、季節のイベントなど具体例\n・それらが現代社会に与えた影響\nこれらをわかりやすくかつ詳しく説明してください。学術的な視点も混ぜながら、なるべく専門用語を平易に翻訳してもらえると助かります。"
      - "最近、休日の過ごし方をマンネリ化していると感じていて、新しい趣味を探しています。できれば、家でも外でも楽しめる趣味がいいのですが、何か良いアイデアはありますか？"
  - source_model: DataPilot/ArrowNeo-Neko-3B-Instruct-v0.1
    positive_prompts:
      - "日本の少子高齢化問題の現状について説明してください。また、この問題に対する日本政府が現在行っている具体的な政策や施策、さらにそれらの効果と課題を合わせて述べてください。説明は段落ごとに分け、論理的にまとめてください。"
      - "世界的に有名な5人の画家を挙げ、それぞれについて以下の項目を簡潔にまとめてください。\n名前と活躍した時代\n代表作とその特徴\n後世への影響や評価のポイント\nわかりやすく箇条書きで整理して回答してください。"
      - "Explain clearly the differences between machine learning, deep learning, and artificial intelligence. Provide examples for each category and discuss briefly how each one is applied practically in today's technology. Please organize your response into clear sections."
      - "パンダはなぜ笹ばかり食べているのか、簡単に教えて。"
      - "「桃太郎」のストーリーを短く3文以内でまとめて。"
      - "Quickly tell me an interesting fact about space travel that most people don't know."
  - source_model: DataPilot/ArrowNeo-Neko-3B-coder
    positive_prompts:
      - "Pythonを用いて、与えられた整数のリスト内から重複している値を見つけ、それらを昇順に並べた新しいリストを返す関数を作成してください。\n関数名はfind_duplicatesとしてください。\n入力の例: [4, 5, 6, 5, 2, 4, 9]\n出力の例: [4, 5]\nコードには簡単なコメントを付けてください。"
      - "PythonとBeautifulSoupを使って、架空のオンライン書店（例: https://examplebookstore.com）のトップページをスクレイピングするコードを書いて下さい。\nエラー処理（例外処理）も簡単に組み込んでください。"
      - "Write a Python function using Pandas that takes a CSV file containing sales data (columns: 'date', 'product', 'sales_amount') and returns a new dataframe with the total sales amount for each product sorted in descending order.\nInclude comments and show an example of how to call this function clearly."
      - "Pythonでリストを逆順にする一番簡単な方法を教えて。"
      - "JavaScriptで現在時刻をブラウザのコンソールに表示するコードを書いて。"
      - "Quickly explain the difference between a 'for loop' and a 'while loop' in Python with short examples."

📄 License

This model is licensed under the MIT license, which complies with the license of the original model.