Phi 3 Mini 128k Instruct Graph

🚀 Phi-3-mini-128k-instruct-graphのモデルカード

このモデルは、MicrosoftのPhi-3-mini-128k-instructをファインチューニングしたもので、一般的なテキストデータからのエンティティ関係抽出に特化しています。GPT-4と同等の品質と精度でエンティティ関係グラフを生成し、大規模処理における効率を向上させることを目指しています。

📚 ドキュメント

モデルの詳細

詳細情報については、ブログ記事を参照してください。

📰 ブログ

用途

このモデルは、一般的なテキストデータ内のエンティティ関係を表す構造化JSONデータを生成するために設計されています。以下の用途に使用できます。

• 様々なテキストデータベースにおける情報検索の強化
• 異なるタイプのドキュメント間の時間的関係と進化するナラティブの探索
• 多様なテキストソースにおけるトレンド分析のための高度な予測モデリング

このモデルは、大量のテキストデータを高スループットで処理する必要があるアプリケーション、例えばコンテンツ集約プラットフォーム、研究データベース、総合的なテキスト分析システムなどに特に有用です。

バイアス、リスク、および制限

データセットの目標はバイアスを減らし、多様性を向上させることですが、依然として西洋の言語と国に偏っています。この制限は、翻訳と要約生成にLlama2を使用していることに起因しています。さらに、Llama2の学習データに含まれるバイアスは、このデータセットにも存在します。また、Microsoft Phi-3に存在するバイアスも、現在のデータセットに存在します。

学習の詳細

• 学習データ：AskNewsからの7,000以上の記事とアップデートで、トピックの重複を避けるように選りすぐられています。
• 学習手順：Transformersライブラリ、SFTTrainer、PEFT、およびQLoRAを使用してファインチューニングされています。

評価結果

GPT-4o（グラウンドトゥルース）、Claude Sonnet 3.5、およびベースのPhi-3モデルと比較した結果です。

環境への影響

• ハードウェアタイプ：1x A100 SXM
• 使用時間：3時間
• 排出された炭素量：0.44 kg（Machine Learning Impact calculatorによる）

💻 使用例

基本的な使用法

import torch 
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline 

torch.random.manual_seed(0) 
model = AutoModelForCausalLM.from_pretrained( 
    "EmergentMethods/Phi-3-mini-128k-instruct-graph",  
    device_map="cuda",  
    torch_dtype="auto",  
    trust_remote_code=True,  
) 

tokenizer = AutoTokenizer.from_pretrained("EmergentMethods/Phi-3-mini-128k-instruct-graph") 

messages = [ 
    {"role": "system", "content": """
A chat between a curious user and an artificial intelligence Assistant. The Assistant is an expert at identifying entities and relationships in text. The Assistant responds in JSON output only.

The User provides text in the format:

-------Text begin-------
<User provided text>
-------Text end-------

The Assistant follows the following steps before replying to the User:

1. **identify the most important entities** The Assistant identifies the most important entities in the text. These entities are listed in the JSON output under the key "nodes", they follow the structure of a list of dictionaries where each dict is:

"nodes":[{"id": <entity N>, "type": <type>, "detailed_type": <detailed type>}, ...]

where "type": <type> is a broad categorization of the entity. "detailed type": <detailed_type>  is a very descriptive categorization of the entity.

2. **determine relationships** The Assistant uses the text between -------Text begin------- and -------Text end------- to determine the relationships between the entities identified in the "nodes" list defined above. These relationships are called "edges" and they follow the structure of:

"edges":[{"from": <entity 1>, "to": <entity 2>, "label": <relationship>}, ...]

The <entity N> must correspond to the "id" of an entity in the "nodes" list.

The Assistant never repeats the same node twice. The Assistant never repeats the same edge twice.
The Assistant responds to the User in JSON only, according to the following JSON schema:

{"type":"object","properties":{"nodes":{"type":"array","items":{"type":"object","properties":{"id":{"type":"string"},"type":{"type":"string"},"detailed_type":{"type":"string"}},"required":["id","type","detailed_type"],"additionalProperties":false}},"edges":{"type":"array","items":{"type":"object","properties":{"from":{"type":"string"},"to":{"type":"string"},"label":{"type":"string"}},"required":["from","to","label"],"additionalProperties":false}}},"required":["nodes","edges"],"additionalProperties":false}
     """}, 
    {"role": "user", "content": """
-------Text begin-------
OpenAI is an American artificial intelligence (AI) research organization founded in December 2015 and headquartered in San Francisco, California. Its mission is to develop "safe and beneficial" artificial general intelligence, which it defines as "highly autonomous systems that outperform humans at most economically valuable work".[4] As a leading organization in the ongoing AI boom,[5] OpenAI is known for the GPT family of large language models, the DALL-E series of text-to-image models, and a text-to-video model named Sora.[6][7] Its release of ChatGPT in November 2022 has been credited with catalyzing widespread interest in generative AI.
-------Text end-------
"""}
] 

pipe = pipeline( 
    "text-generation", 
    model=model, 
    tokenizer=tokenizer, 
) 

generation_args = { 
    "max_new_tokens": 500, 
    "return_full_text": False, 
    "temperature": 0.0, 
    "do_sample": False, 
} 

output = pipe(messages, **generation_args) 
print(output[0]['generated_text'])

# Output:

# {
#     "nodes": [
#         {
#             "id": "OpenAI",
#             "type": "organization",
#             "detailed_type": "ai research organization"
#         },
#         {
#             "id": "GPT family",
#             "type": "technology",
#             "detailed_type": "large language models"
#         },
#         {
#             "id": "DALL-E series",
#             "type": "technology",
#             "detailed_type": "text-to-image models"
#         },
#         {
#             "id": "Sora",
#             "type": "technology",
#             "detailed_type": "text-to-video model"
#         },
#         {
#             "id": "ChatGPT",
#             "type": "technology",
#             "detailed_type": "generative ai"
#         },
#         {
#             "id": "San Francisco",
#             "type": "location",
#             "detailed_type": "city"
#         },
#         {
#             "id": "California",
#             "type": "location",
#             "detailed_type": "state"
#         },
#         {
#             "id": "December 2015",
#             "type": "date",
#             "detailed_type": "foundation date"
#         },
#         {
#             "id": "November 2022",
#             "type": "date",
#             "detailed_type": "release date"
#         }
#     ],
#     "edges": [
#         {
#             "from": "OpenAI",
#             "to": "San Francisco",
#             "label": "headquartered in"
#         },
#         {
#             "from": "San Francisco",
#             "to": "California",
#             "label": "located in"
#         },
#         {
#             "from": "OpenAI",
#             "to": "December 2015",
#             "label": "founded in"
#         },
#         {
#             "from": "OpenAI",
#             "to": "GPT family",
#             "label": "developed"
#         },
#         {
#             "from": "OpenAI",
#             "to": "DALL-E series",
#             "label": "developed"
#         },
#         {
#             "from": "OpenAI",
#             "to": "Sora",
#             "label": "developed"
#         },
#         {
#             "from": "OpenAI",
#             "to": "ChatGPT",
#             "label": "released"
#         },
#         {
#             "from": "ChatGPT",
#             "to": "November 2022",
#             "label": "released in"
#         }
#     ]
# }

エチカルな考慮事項

ユーザーは、このモデルが一般的なテキストデータからのエンティティ関係抽出に設計されており、さらなるファインチューニングなしでは他のドメインに適していないことに注意する必要があります。特に、意思決定や公共の情報伝播に影響を与える可能性のあるアプリケーションで使用する場合、モデルの出力はレビューと検証が必要です。

📄 ライセンス

このモデルは、Creative Commons Attribution Non Commercial Share Alike 4.0ライセンスの下で提供されています。