GRPO VI Qwen2 7B RAG

license: apache-2.0 language:

• vi base_model:
• Qwen/Qwen2.5-7B-Instruct pipeline_tag: text-generation tags:
• retrieval-augmented-generation
• text-generation-inference library_name: transformers

モデルカード: GRPO-VI-Qwen2-7B-RAG

モデル説明:

GRPO-VI-Qwen2-7B-RAGは、ベースモデルQwen2.5-7B-Instruct（https://huggingface.co/Qwen/Qwen2.5-7B-Instruct）からファインチューニングされた大規模言語モデルで、Retrieval-Augmented Generation（RAG）タスクに対応しています。ファインチューニングプロセスには、教師ありファインチューニングとGRPO（Group Relative Policy Optimization）が組み合わされています。

このモデルはベトナム語のデータセットでトレーニングされており、ベトナム語の理解と生成能力を向上させるとともに、外部ドキュメントから取得した情報を統合する必要があるタスクのパフォーマンスを向上させることを目的としています。

使用目的:

GRPO-VI-Qwen2-7B-RAGモデルは、RAGに対応しながら会話能力（最大8192トークンのコンテキスト長）を保持しています。そのため、以下のシナリオに対応できます:

• RAG関連タスク: マルチホップ推論、ネガティブフィルタリング、情報統合、ポジティブ/ネガティブ識別。

• STEMタスク（数学やコーディング関連）。

• 一般的な質問応答。

トレーニング方法論:

モデルは2段階でトレーニングされます: 教師ありファインチューニングとGRPOです。

• 教師ありファインチューニングデータ: 10KのRAGサンプルと30Kの会話サンプルを含み、数学関連や一般的なドメインの質問をカバーしており、すべて「まず考え、その後答える」形式に従っています。

• GRPOデータ: 10KのRAGサンプルと3Kの数学およびコード関連サンプルで構成されています。

• 報酬スコアリング: スコアは、フォーマットの品質、推論セクションの長さ、回答の長さ、応答におけるベトナム語の純度、文字列の繰り返し、RAGおよびSTEM関連タスクのセマンティック品質を評価する報酬モデルなどのヒューリスティックに基づいて割り当てられます。

制限事項:

モデルには以下の制限がある可能性があります:

• 政治、社会などに関する質問の正確性を保証しません。

• 偏見を示したり、不適切な見解を表明する可能性があります。

ベンチマーク

私たちは、チームが作成した手作業でキュレートされたデータセットEvalRAGDataを使用して、RAGタスクでいくつかのLLMを評価しました。

評価は、人間のアノテーターが10点満点のスコアリングスケールを使用して実施されました。 詳細な結果は以下の通りです:

さらに、VMLUリーダーボードでもベンチマークを実施しました:

使用方法:

1. RAGでの使用

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
path = 'AITeamVN/GRPO-VI-Qwen2-7B-RAG'
model = AutoModelForCausalLM.from_pretrained(
    path,
    torch_dtype=torch.bfloat16, 
    device_map="auto",
    use_cache=True
)
tokenizer = AutoTokenizer.from_pretrained(path)

system_prompt = """あなたは熱心で誠実なベトナム語アシスタントです。常に最も役立つ方法で回答してください。

以下のフォーマットで回答してください:
<think>
[あなたの思考、分析]
</think>
[あなたの回答]
"""

template = '''以下の要件に注意してください:
- 回答は正確かつ完全でなければなりません（コンテキストに回答がある場合）。
- 提供されたコンテキスト内の情報のみを使用してください。
- コンテキストに回答がない場合は、追加の推論を行わずに回答を拒否してください。
コンテキストに基づいて質問に答えてください:
### コンテキスト :
{context}

### 質問 :
{question}

### 回答 :'''

context = '''- コンテキスト1: 2024年の繊維・アパレル輸出の明るい兆候 2024年1月に輸出額が10億ドルを超えた4つの商品グループの1つとして、ベトナムの繊維・アパレルは輸出レースで順調なスタートを切りました。商工省の輸出入局のデータによると、2024年1月の繊維・アパレル産業の生産指数はかなり良好で、繊維が46.2％増、衣料品生産が20.9％増、天然繊維からの織物製品が57％増、通常着用の衣服が25.8％増などでした。繊維・アパレルはまた、輸出額が10億ドルを超えるトップ4産業の1つであり、2023年同期比28.6％の成長を記録しました。このような良好な結果は、2023年末から企業が回復し、祝日やテト（旧正月）の需要により注文が徐々に増加したためと見られています。例えば、TNG投資貿易株式会社は現在、2024年前半6か月の新規注文を獲得しています。これにより、TNGは2024年の収益を2023年比5～10％増加させる計画を立てています。また、May 10 Corporationでは、2024年に収益4,500億VND、利益130億VND、平均月収950万VND/人を目標としています。ベトナム繊維・アパレルグループからの情報によると、特に産業の伝統的かつ主要な輸出市場において、繊維・アパレル産業が回復する明るい兆候があります。その中でも、最大0.75％の利下げが3回行われる可能性があるという米国の信号は、消費が回復する原動力となっています。さらに、競争国の多くは労働問題や国内の武力衝突に直面している一方、ベトナムは安全な目的地であるため、注文がベトナムに戻る可能性が高まる新たな原動力となっています。国内のマクロ経済は引き続き安定しており、2023年よりも高いGDP成長が予測されています。しかし、専門家は依然として、2023年の経験から学んだ教訓として、現在の世界市場は非常に予測不能な変動があるため、繊維・アパレル企業は機会を迅速に捉え、耐性を高めるために強固な心構えと十分な内部力を準備する必要があると警告しています。

- コンテキスト2: 繊維・アパレルThanh Cong（TCM）は2024年の利益計画を21％増に設定 2023年に利益が52.4％減少し1338億VNDとなった後、Thanh Cong繊維・アパレル-投資-貿易株式会社（コードTCM - HOSE上場）は2024年に成長計画を立てました。2024年、Thanh Cong繊維・アパレル株式会社は、純収益3707.4億VND（前年同期比12％増）、税引後利益161.23億VND（2023年実績比21％増）の事業計画を設定しました。2024年2月の注文状況について、Thanh Cong繊維・アパレル株式会社は、第1四半期の収益計画を上回る注文を受注し、第2四半期の収益計画の約80％を受注したと発表しました。ベトナムの繊維・アパレル輸出の2024年の見通しと同社の現在の注文受注状況に基づき、同社は2024年の輸出注文状況が2023年よりも良好になることを期待しています。さらに、Thanh Cong繊維・アパレル株式会社は、同社の繊維・アパレル製品の輸出が世界の主要市場に向けられていると述べました。その中で、74.9％の製品はアジア市場（日本28.61％、韓国22.93％、中国9.99％、ベトナム6.58％）に輸出され、20％はアメリカ市場（主に米国、カナダ）など、ヨーロッパ、英国市場などの他の市場に輸出されています。2023年のThanh Cong繊維・アパレルの利益急落 2023年第4四半期の事業活動において、Thanh Cong繊維・アパレル株式会社は、収益8146億VND（前年同期比13.1％減）、税引後利益223.6億VND（2022年第4四半期実績比62.6％減）を記録しました。その中で、粗利益率は16.3％から15.9％に減少しました。2023年通年では、Thanh Cong繊維・アパレル株式会社は収益3,3248.2億VND（前年同期比23.3％減）、税引後利益1338億VND（前年同期比52.4％減）を記録しました。2023年、Thanh Cong繊維・アパレル株式会社は収益3,9274億VND（前年同期比9％減）、税引前利益2449億VND（2022年実績比13％減）の計画を設定していました。したがって、2023年の税引前利益1888億VNDで終了し、Thanh Cong繊維・アパレル株式会社は2023年の利益計画2449億Vンドルの77.1％しか達成できませんでした。2023年の事業成績急落の理由について、Thanh Cong繊維・アパレル株式会社のTran Nhu Tung会長は、2023年は繊維・アパレル産業の企業にとって非常に困難で挑戦的な年であり、世界とベトナムの経済状況が不利であったため消費需要が減少し、企業が注文不足に陥り、設定された事業計画を達成できなかったと説明しました。2024年3月8日の取引終了時、TCM株は参考価格45,000VND/株で終了しました。

- コンテキスト3: 繊維・アパレルTNG: Walmart、H&Mなどからの新規注文により2024年の利益が最大47％増加する可能性 2023年第3四半期にWalmartやH&Mを含む新規大口顧客の開発に成功したことで、繊維・アパレルTNG（コードTNG）の2024年の利益は最大47％増加する可能性があります。最近、TNG投資貿易株式会社（繊維・アパレルTNG、コードTNG - HNX上場）は、2023年12月中旬までに同社が年間収益計画6,800億VNDの100％を達成し、計画より16日早くゴールしたと発表しました。現在、繊維・アパレルTNGは2023年通年の総収益が7,030億VND（年間計画比3％増、2022年同期比4％増）に達すると予想しています。2023年定時株主総会で設定された目標によると、繊維・アパレルTNGは今年の年間収益6,800億VNDと利益299億VNDを目標としており、いずれも同社の活動史上最高の財務指標です。ただし、利益目標は達成が難しい可能性があります。今年初め9か月の累計で、繊維・アパレルTNGは171億VNDの利益（年間目標の57％以上）しか記録していません。主な理由は、繊維・アパレル業界全体の深刻な注文不足により、繊維・アパレルTNGが生産を維持するために低利益率の注文を受けざるを得なかったことです。同時に、繊維・アパレル製品の世界的な需要減少により、衣料品の販売価格が大幅に下落しました。BSC Equity Researchの最新評価によると、繊維・アパレルTNGは、2024-2025年にかけて繊維・アパレル市場が回復期に入るにつれ、同社が最も困難な時期でも収益規模を維持できたため、同業他社よりも回復見通しが良好です。一方、他のほとんどの企業は収益が20％～50％減少しました。したがって、市場の需要に応じて注文単価/注文が徐々に回復すると、利益率が改善され、繊維・アパレルTNGは同業他社よりも強力に成長すると予想されます。BSC Equity Researchによると、繊維・アパレルTNGの2024年の利益は2023年比最大47％増加すると期待されています。この繊維・アパレル企業の主要輸出市場は、米国（総収益の40％）、EU（40％）、その他ロシア、カナダ、オランダ、韓国などの市場です。その中で、2023年9月時点の米国の衣料品在庫は10か月連続で減少し、2022年末のピーク時比11％減となり、2022年上半期と同水準になりました。BSC Equity Researchによると、繊維・アパレルTNGの主要顧客であるAdidas、PUMA、Columbia Sportwearなどの在庫は、以前の年の平均水準に近づいています。具体的には、AdidasとPumaの在庫はそれぞれ55億ユーロと19億ユーロで、2022年第2四半期と同水準です。Columbia Sportwearの在庫は11億米ドルで、2022年第3四半期比20％増ですが、Columbia Sportwearがカナダ（2022年第3四半期比17％増）、アジア（18％増）、欧州・中東・アフリカ（EMEA）（37％増）などの主要市場で売上高が大幅に成長したため、これによる影響はそれほど大きくありません。全体的に、米国と欧州市場での年末のセール（ブラックフライデー、サイバーマンデー、ボクシングデーなど）により、2023年第4四半期の在庫はさらに減少し、ブランドは2024年初頭に春-夏シーズンの市場に向けて再入荷すると予想されます。さらに、2023年には、既存顧客向けの注文を維持するだけでなく、繊維・アパレルTNGはWalmart、H&M、LIDLなどの新規顧客を開発し、ジャケット、スウェットシャツ、水着、レギンスなどの多様な製品を生産しています。したがって、繊維・アパレルTNGはこれらの新規パートナーから追加注文を得られると期待しています。2023年第3四半期、同社は上記ブランドからの品質と工場能力に関する検査に合格しました。同時に、繊維・アパレルTNGは、100％再生可能エネルギーの使用、リサイクル原料、炭素排出削減、労働者の待遇確保などのESG要件も顧客の要求に応えています。

- コンテキスト4: The Ky Yarn（コード: STK）も2024年の収益計画を2,103億VND（2023年比189％増）、税引後利益300億VND（342％増）と設定しています。この企業が2024年に高い事業目標を設定した根拠は、再生糸が主要な成長原動力であり、2024年に操業を開始する新工場UnitexがSTKの長期的な収益成長を促進するためです。Unitex糸工場の年間生産能力は60,000トンです。

- コンテキスト5: Thanh Cong繊維・アパレル-投資-貿易株式会社（コード: TCM）の総支配人は、2024年の事業計画を純収益3,707億VND（2023年同期比112％増）、税引後利益161億VND（前年比121％増）と発表しました。現在、繊維・アパレルTCMは2024年事業計画を実現するための具体的な目標と任務を発表していません。ただし、2024年1月の事業報告書によると、TCMは第1四半期の収益計画を上回る注文を受注し、第2四半期の収益計画の約80％を受注しています。'''

question = '2024年の事業計画で2023年比収益成長率100％超を目標とした繊維・アパレル企業はどれか、またこの目標達成を支える要因は何か?'

conversation = [{"role": "system", "content": system_prompt }]
conversation.append({"role": "user", "content": template.format(context = context, question = question)})
text = tokenizer.apply_chat_template(
    conversation,
    tokenize=False,
    add_generation_prompt=True)
model_inputs = tokenizer(text,return_tensors="pt").to(model.device)

generated_ids = model.generate(
    model_inputs.input_ids,
    max_new_tokens=4096,
    temperature = 0.1,
    #top_p=0.95,
    #top_k=40,
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)

'''
<think>
コンテキスト1、2、3、4、5において、2024年の事業計画で2023年比収益成長率100％超を目標とした繊維・アパレル企業がいくつか発表されています。具体的には:

- **繊維・アパレルTNG（TNG.HNX）**: 収益目標6,800億VND（2022年同期比4％増）、利益299億VND。ただし、この目標は2023年比100％超ではありません。

- **Thanh Cong繊維・アパレル-投資-貿易株式会社（TCM.HOSE）**: 収益目標3,707億VND（前年同期比12％増）、税引後利益161億VND（2023年比21％増）。この目標も100％超ではありません。

- **The Ky Yarn（STK.HNX）**: 収益目標2,103億VND（2023年比189％増）、税引後利益300億VND（342％増）。これは100％超の成長目標です。

- **繊維・アパレルTNG（TNG.HNX）**: 目標を発表していますが、100％超ではありません。

- **Thanh Cong繊維・アパレル-投資-貿易株式会社（TCM.HOSE）**: 収益目標3,707億VND（前年同期比112％増）、税引後利益161億VND（前年比121％増）。これは100％超の成長目標です。

この目標達成を支える要因には以下が含まれます:
1. **新規大口顧客からの注文**: 繊維・アパレルTNGはWalmartやH&Mと契約し、収益と利益の増加が見込まれます。
2. **新市場開拓**: 繊維・アパレルTNGは米国、EU、ロシア、カナダ、オランダ、韓国などの新市場に進出しています。
3. **利益率改善**: 繊維・アパレルTNGは在庫削減と主要市場での売上増により利益率改善を図っています。
4. **生産能力**: The Ky Yarnの新工場Unitexは年間60,000トンの生産能力があり、長期的な収益成長を支えます。
</think>
コンテキストに基づくと、2024年の事業計画で2023年比収益成長率100％超を目標とした繊維・アパレル企業は以下の2社です:

1. **Thanh Cong繊維・アパレル-投資-貿易株式会社（TCM.HOSE）**:
   - **収益目標**: 3,707億VND（2023年同期比112％増）。
   - **税引後利益目標**: 161億VND（2023年比121％増）。
   - **支援要因**:
     - 第1四半期の収益計画を上回る注文を受注し、第2四半期の収益計画の約80％を受注済み。
     - 日本、韓国、中国などの主要市場への繊維・アパレル製品輸出。
     - 2023年よりも良好な輸出注文状況が予想される。

2. **The Ky Yarn（STK.HNX）**:
   - **収益目標**: 2,103億VND（2023年比189％増）。
   - **税引後利益目標**: 300億VND（342％増）。
   - **支援要因**:
     - 再生糸が主要成長原動力。
     - 2024年操業開始の新工場Unitexが年間60,000トンの生産能力を持ち、長期的な収益成長を促進。

両社とも高い成長目標を設定しており、新規注文獲得、市場拡大、生産基盤強化などの具体的な要因が目標達成を支えています。
'''

2. 数学の問題

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
path = 'AITeamVN/GRPO-VI-Qwen2-7B-RAG'
model = AutoModelForCausalLM.from_pretrained(
    path,
    torch_dtype=torch.bfloat16, 
    device_map="auto",
    use_cache=True
)
tokenizer = AutoTokenizer.from_pretrained(path)

system_prompt = """あなたは熱心で誠実なベトナム語アシスタントです。常に最も役立つ方法で回答してください。

以下のフォーマットで回答してください:
<think>
[あなたの思考、分析]
</think>
[あなたの回答]
"""
prompt = "次の方程式を解いてください: 2x^2 - 3x + 1 = 0"

conversation = [{"role": "system", "content": system_prompt }]
conversation.append({"role": "user", "content": prompt})
text = tokenizer.apply_chat_template(
    conversation,
    tokenize=False,
    add_generation_prompt=True)
model_inputs = tokenizer(text,return_tensors="pt").to(model.device)

generated_ids = model.generate(
    model_inputs.input_ids,
    max_new_tokens=4096,
    temperature = 0.1,
    #top_p=0.95,
    #top_k=40,
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)


'''
<think>
では、この二次方程式を解いてみましょう: 2x^2 - 3x + 1 = 0。基本的な二次方程式はax^2 + bx + c = 0の形をしており、ここでaは2、bは-3、cは1です。このような方程式を解くための素晴らしい公式、二次方程式の解の公式を覚えています。その公式はx = [-b ± sqrt(b^2 - 4ac)] / (2a)です。数字を代入してみましょう。

まず、判別式を計算する必要があります。それはb^2 - 4acの部分です。では、計算してみます: (-3)^2は9、そして4×2×1は8です。引き算すると9 - 8で1になります。判別式は1で、これは完璧な正の数です。つまり、2つの異なる実数解が得られます。

では、公式を使って解を求めましょう。まずプラスの方: x = [3 + sqrt(1)] / 4。これは(3 + 1)/4、つまり4/4で1に簡略化されます。これで1つの解が得られました。

次にマイナスの方: x = [3 - sqrt(1)] / 4。これは(3 - 1)/4、つまり2/4で1/2に簡略化されます。これで2つの解が得られました: x = 1とx = 1/2。

元の方程式にこれらの解を代入して簡単に確認してみましょう。x = 1の場合、2(1)^2 - 3(1) + 1 = 2 - 3 + 1 = 0。完璧です！x = 1/2の場合、2(1/2)^2 - 3(1/2) + 1 = 2(1/4) - 3/2 + 1 = 1/2 - 3/2 + 1 = 0。これも正しいです！

したがって、方程式2x^2 - 3x + 1 = 0の解はx = 1とx = 1/2です。すべてが正しく一致しています！
</think>
二次方程式 \(2x^2 - 3x + 1 = 0\) の解は \(x = 1\) と \(x = \frac{1}{2}\) です。これらの解は二次方程式の解の公式を用いて求められ、元の方程式に代入することで確認され、結果がゼロになることが確認されました。'''

3. 一般的な質問

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
path = 'AITeamVN/GRPO-VI-Qwen2-7B-RAG'
model = AutoModelForCausalLM.from_pretrained(
    path,
    torch_dtype=torch.bfloat16, 
    device_map="auto",
    use_cache=True
)
tokenizer = AutoTokenizer.from_pretrained(path)

system_prompt = """あなたは熱心で誠実なベトナム語アシスタントです。常に最も役立つ方法で回答してください。

以下のフォーマットで回答してください:
<think>
[あなたの思考、分析]
</think>
[あなたの回答]
"""
prompt = "ベトナムで最も高い山は何ですか?"

conversation = [{"role": "system", "content": system_prompt }]
conversation.append({"role": "user", "content": prompt})
text = tokenizer.apply_chat_template(
    conversation,
    tokenize=False,
    add_generation_prompt=True)
model_inputs = tokenizer(text,return_tensors="pt").to(model.device)

generated_ids = model.generate(
    model_inputs.input_ids,
    max_new_tokens=4096,
    temperature = 0.1,
    #top_p=0.95,
    #top_k=40,
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)


'''
<think>
では、ベトナムで最も高い山について考えてみましょう。ベトナムは東南アジアに位置し、中国との国境に沿って山脈が走っています。この山脈はチュオンソン山脈と呼ばれています。この地域には非常に高い山がいくつかあることを覚えています。

さて、最も高い山を特定するためには、その地域の地形についてさらに調べる必要があります。そうだ！ファンシーパンという有名な山があります。この山についてはよく聞きます。ベトナムの最高地点としてよく言及されます。

このことを確認してみましょう。どこかでファンシーパンの標高は約3,143メートルと読んだ記憶があります。これはかなり高いですが、確かめるために地域の他の山と比較する必要があります。

そういえば、バックマ山やルンクー山などの他の山もあります。しかし、ファンシーパンが最も高い山であると確信しています。これは広く認められているベトナムの最高峰です。

考えをまとめると、ファンシーパンがベトナムで最も高い山であると自信を持って言えます。その標高と位置から、国の最高地点となっています。これは信頼できる地理情報源から学んだことと一致します。
</think>
ベトナムで最も高い山はファンシーパンで、北西部のホアンリエンソン山脈に位置しています。ファンシーパンの標高は約3,143メートル（10,312フィート）で、国の最高地点です。この山はベトナムの地理的象徴であるだけでなく、その自然の美しさと身体的挑戦から多くの観光客や登山者を引きつけています。```
'''

開発者

メンバー: Nguyen Nho Trung, Nguyen Van Huy, Nguyễn Nhat Quang

連絡先

メール: nguyennhotrung3004@gmail.com

引用

@misc{ViRAG-Gen,
  title={ViRAG-Gen-v2: GRPOベースのベトナム語検索拡張生成専用LLM},
  author={Nguyen Nho Trung, Nguyen Van Huy, Nguyen Nhat Quang},
  year={2025},
  publisher={Huggingface},
}