Phi 1 5

🚀 Phi-1.5言語モデル

Phi-1.5は、13億のパラメータを持つTransformerベースの言語モデルです。このモデルは、phi-1と同じデータソースを使用し、様々なNLP合成テキストからなる新しいデータソースを追加して学習されました。常識、言語理解、論理的推論をテストするベンチマークで評価すると、Phi-1.5は100億パラメータ未満のモデルの中でほぼ最先端の性能を示します。

このオープンソースモデルは、毒性の低減、社会的バイアスの理解、制御性の向上など、重要な安全性の課題を探求するために、研究コミュニティに制限のない小規模モデルを提供することを目的として作成されています。

🚀 クイックスタート

Phi-1.5はtransformersバージョン4.37.0に統合されています。使用する際は、このバージョン以上を使用してください。

✨ 主な機能

Phi-1.5は、詩の作成、メールの下書き、物語の作成、テキストの要約、Pythonコードの記述（例：Hugging Faceのトランスフォーマーモデルのダウンロード）などが可能です。

📦 インストール

Phi-1.5を使用するには、transformersバージョン4.37.0以上が必要です。以下のコマンドでインストールできます。

pip install transformers>=4.37.0

💻 使用例

基本的な使用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

torch.set_default_device("cuda")

model = AutoModelForCausalLM.from_pretrained("microsoft/phi-1_5", torch_dtype="auto")
tokenizer = AutoTokenizer.from_pretrained("microsoft/phi-1_5")

inputs = tokenizer('''def print_prime(n):
   """
   Print all primes between 1 and n
   """''', return_tensors="pt", return_attention_mask=False)

outputs = model.generate(**inputs, max_length=200)
text = tokenizer.batch_decode(outputs)[0]
print(text)

高度な使用法

QA形式

Write a detailed analogy between mathematics and a lighthouse.

Answer: Mathematics is like a lighthouse, guiding us through the vast ocean of numbers and calculations. Just as a lighthouse illuminates the darkness, mathematics provides us with a clear path to navigate through complex problems. It helps us make sense of the world around us, just like a lighthouse helps ships find their way home.

チャット形式

Alice: I don't know why, I'm struggling to maintain focus while studying. Any suggestions?

Bob: Have you tried using a timer? It can help you stay on track and avoid distractions.

Alice: That's a good idea. I'll give it a try.

Charlie: Another thing that can help is to break up your study sessions into smaller chunks. It's easier to concentrate on one thing at a time.

Alice: That makes sense. I'll try that too.

Bob: And don't forget to take breaks! It's important to give your brain a rest so you can come back to your studies with a fresh perspective.

Alice: Thanks for the advice, guys. I feel more motivated now.

Charlie: No problem, Alice. We're all in this together.

Bob: Yeah, and remember that it's okay to ask for help if you need it. We're here to support each other.

コード形式

def print_prime(n):
   """
   Print all primes between 1 and n
   """
   primes = []
   for num in range(2, n+1):
       is_prime = True
       for i in range(2, int(math.sqrt(num))+1):
           if num % i == 0:
               is_prime = False
               break
       if is_prime:
           primes.append(num)
   print(primes)

📚 ドキュメント

想定される用途

学習データの性質上、Phi-1.5はQA形式、チャット形式、コード形式のプロンプトに最適です。ただし、Phi-1.5はベースモデルであるため、主な回答の後に関係のないテキストを生成することが多いことに注意してください。

注意事項

• Phi-1.5が生成したテキストやコードは、潜在的なユースケースの出発点として扱うべきであり、決定的な解決策としてではありません。ユーザーは、これらのモデルをアプリケーションで使用する際には注意が必要です。
• Phi-1.5は、本番レベルのアプリケーションでの十分な性能が保証されていません。詳細については、このドキュメントの制限事項のセクションを参照してください。

🔧 技術詳細

モデル

ソフトウェア

• PyTorch
• DeepSpeed
• Flash-Attention

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

引用

論文はhttps://arxiv.org/abs/2309.05463 で見つけることができます。以下のように引用してください。

@article{textbooks2,
  title={Textbooks Are All You Need II: \textbf{phi-1.5} technical report},
  author={Li, Yuanzhi and Bubeck, S{\'e}bastien and Eldan, Ronen and Del Giorno, Allie and Gunasekar, Suriya and Lee, Yin Tat},
  journal={arXiv preprint arXiv:2309.05463},
  year={2023}
}

商標

このプロジェクトには、プロジェクト、製品、またはサービスの商標やロゴが含まれている場合があります。Microsoftの商標やロゴの許可された使用は、Microsoftの商標とブランドガイドラインに従う必要があります。このプロジェクトの修正バージョンでのMicrosoftの商標やロゴの使用は、混乱を招いたり、Microsoftの後援を暗示したりしてはなりません。第三者の商標やロゴの使用は、それらの第三者のポリシーに従う必要があります。

Phi-1.5の制限事項

• 不正確なコードや事実の生成: このモデルはしばしば誤ったコードスニペットやステートメントを生成します。ユーザーはこれらの出力を提案または出発点として扱い、決定的または正確な解決策としてではなくてください。
• コードの範囲が限定的: モデルがまれなパッケージを使用するPythonスクリプトや他の言語のスクリプトを生成する場合、ユーザーはすべてのAPIの使用を手動で検証することを強くおすすめします。
• 命令に対する応答が信頼できない: モデルは命令の微調整を受けていません。その結果、ユーザーが提供する複雑または微妙な命令に従うのに苦労するか、または失敗する可能性があります。
• 言語の制限: モデルは主に標準英語を理解するように設計されています。非公式英語、スラング、または英語以外の言語は、その理解に挑戦をもたらす可能性があり、誤解や応答のエラーにつながる可能性があります。
• 潜在的な社会的バイアス: 学習に安全なデータを使用しているにもかかわらず、モデルは社会的バイアスから完全に免れているわけではありません。特にそのように促されたり指示された場合、これらの社会的バイアスを反映したコンテンツを生成する可能性があります。ユーザーはこれを認識し、モデルの出力を解釈する際に注意と批判的な思考を行使することを強くおすすめします。
• 毒性: モデルは慎重に選択されたデータで学習されていますが、明示的に促されたり指示された場合、依然として有害なコンテンツを生成する可能性があります。私たちは、このモデルを研究目的のみでリリースすることを選択しました。事前学習後にモデルの毒性を直接低減する最も効果的な方法を開発するのに役立てることを願っています。