GRPO VI Qwen2 7B RAG

🚀 GRPO-VI-Qwen2-7B-RAG

A large language model fine-tuned for Retrieval-Augmented Generation (RAG) tasks in Vietnamese.

🚀 Quick Start

The GRPO-VI-Qwen2-7B-RAG model is fine-tuned from the base model Qwen2.5-7B-Instruct to serve RAG tasks. It is trained on a Vietnamese-language dataset to improve Vietnamese language understanding and generation capabilities, and enhance performance on tasks that require integrating information retrieved from external documents.

✨ Features

• RAG Capability: Handles multi-hop reasoning, negative filtering, information integration, and positive/negative identification.
• STEM Support: Performs well in tasks related to mathematics and coding.
• General Question Answering: Answers general questions effectively.
• Long Context Handling: Supports a context length of up to 8192 tokens for better conversational ability.

📦 Installation

The installation process mainly involves using the transformers library. You can install it via pip:

pip install transformers torch

💻 Usage Examples

Basic Usage

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
path = 'AITeamVN/GRPO-VI-Qwen2-7B-RAG'
model = AutoModelForCausalLM.from_pretrained(
    path,
    torch_dtype=torch.bfloat16, 
    device_map="auto",
    use_cache=True
)
tokenizer = AutoTokenizer.from_pretrained(path)

system_prompt = """Bạn là một trợ lí Tiếng Việt nhiệt tình và trung thực. Hãy luôn trả lời một cách hữu ích nhất có thể.

Bạn hãy trả lời theo định dạng sau:
<think>
[Suy nghĩ, phân tích của bạn]
</think>
[Câu trả lời của bạn]
"""

template = '''Chú ý các yêu cầu sau:
- Câu trả lời phải chính xác và đầy đủ nếu ngữ cảnh có câu trả lời. 
- Chỉ sử dụng các thông tin có trong ngữ cảnh được cung cấp.
- Chỉ cần từ chối trả lời và không suy luận gì thêm nếu ngữ cảnh không có câu trả lời.
Hãy trả lời câu hỏi dựa trên ngữ cảnh:
### Ngữ cảnh :
{context}

### Câu hỏi :
{question}

### Trả lời :'''

context = '''- Ngữ cảnh 1: Những chỉ dấu sáng của xuất khẩu dệt may trong năm 2024 Là một trong 4 nhóm hàng đạt kim ngạch trên 1 tỷ USD trong tháng 1/2024, dệt may Việt Nam đã có khởi đầu thuận lợi trong chặng đường đua xuất khẩu. Theo số liệu của Cục Xuất nhập khẩu (Bộ Công Thương), chỉ số sản xuất của ngành dệt may tháng 1/2024 khá khả quan, trong đó dệt tăng 46,2%; sản xuất trang phục tăng 20,9%; sản phẩm vải dệt từ sợi tự nhiên tăng 57%; quần áo mặc thường tăng 25,8%... Dệt may cũng đứng vào top 4 ngành hàng đạt kim ngạch xuất khẩu trên 1 tỷ USD, đạt mức tăng trưởng 28,6% so với cùng kỳ năm 2023. Kết quả khả quan như trên được nhận định là nhờ sự phục hồi của các doanh nghiệp từ cuối năm 2023, khi đơn hàng dần tăng trở lại nhờ nhu cầu may mặc dịp lễ, Tết. Điển hình như Công ty CP Đầu tư và Thương mại TNG, hiện doanh nghiệp đã ký được những đơn hàng mới cho 6 tháng đầu năm 2024. Theo đó, TNG cũng đã lên kế hoạch doanh thu năm 2024 tăng từ 5 - 10% so với năm 2023. Còn với Tổng Công ty May 10, năm 2024, May 10 đặt mục tiêu doanh thu đạt 4.500 tỷ đồng, lợi nhuận đạt 130 tỷ đồng, thu nhập bình quân 9,5 triệu đồng/người/tháng. Thông tin từ Tập đoàn Dệt may Việt Nam, có những chỉ dấu sáng cho ngành dệt may hồi phục trở lại, nhất là tại những thị trường xuất khẩu truyền thống và lớn của ngành. Trong đó, Mỹ với tín hiệu có thể có 3 đợt cắt giảm lãi suất lên tới 0,75% là động lực thúc đẩy tiêu dùng trở lại. Bên cạnh đó, các quốc gia cạnh tranh gặp nhiều vấn đề về lao động, xung đột vũ trang ở trong nước, trong khi Việt Nam là một điểm đến an toàn cũng là một động lực mới cho đơn hàng có khả năng quay lại Việt Nam tốt hơn. Kinh tế vĩ mô trong nước tiếp tục ổn định, dự báo tăng trưởng GDP cao hơn 2023. Dù vậy, các chuyên gia vẫn khuyến cáo, bài học kinh nghiệm từ năm 2023 cho thấy thị trường thế giới hiện nay biến động rất khó lường, do vậy doanh nghiệp dệt may cần chuẩn bị tâm thế vững vàng, nội lực đủ mạnh để chớp nhanh cơ hội, cũng như nâng cao sức chống chịu.

- Ngữ cảnh 2: Dệt may Thành Công (TCM) đặt kế hoạch lợi nhuận năm 2024 tăng trưởng 21% Sau năm 2023 ghi nhận lợi nhuận giảm 52,4%, về 133,8 tỷ đồng, CTCP Dệt may - Đầu tư - Thương mại Thành Công (mã TCM - sàn HOSE) đã lên kế hoạch tăng trưởng trong năm 2024. Trong năm 2024, Công ty Dệt may Thành Công đặt kế hoạch kinh doanh với doanh thu thuần 3.707,4 tỷ đồng, tăng 12% so với cùng kỳ, lợi nhuận sau thuế dự kiến 161,23 tỷ đồng, tăng 21% so với thực hiện trong năm 2023. Về tình hình đơn hàng trong tháng 2/2024, Công ty Dệt may Thành Công cho biết đã nhận vượt kế hoạch doanh thu cho đơn hàng quý I/2024 và đã nhận khoảng 80% kế hoạch doanh thu cho đơn hàng quý II/2024. Theo dự báo tình hình xuất khẩu dệt may Việt Nam năm 2024 và theo tình hình tiếp nhận đơn hàng hiện tại của Công ty, Công ty hy vọng năm 2024 tình hình đơn hàng xuất khẩu sẽ khả quan hơn so với năm 2023. Ngoài ra, Công ty Dệt may Thành Công cũng cho biết hoạt động xuất khẩu hàng dệt may của Công ty được xuất khẩu sang các thị trường lớn trên thế giới . Trong đó, 74,9% lượng hàng được xuất sang thị trường châu Á (Nhật Bản chiếm 28,61%, Hàn Quốc chiếm 22,93%, Trung Quốc chiếm 9,99%, Việt Nam chiếm 6,58%); 20% được xuất khẩu sang thị trường Châu Mỹ (chủ yếu Mỹ, Canada) … và các thị trường khác như Châu Âu, thị trường Anh. Lợi nhuận Dệt may Thành Công lao dốc trong năm 2023 Xét về hoạt động kinh doanh trong quý IV/2023, Công ty Dệt may Thành Công ghi nhận doanh thu đạt 814,6 tỷ đồng, giảm 13,1% so với cùng kỳ, lợi nhuận sau thuế ghi nhận 22,36 tỷ đồng, giảm 62,6% so với thực hiện trong quý IV/2022. Trong đó, biên lợi nhuận gộp giảm từ 16,3%, về còn 15,9%. Lũy kế trong năm 2023, Công ty Dệt may Thành Công ghi nhận doanh thu đạt 3.324,82 tỷ đồng, giảm 23,3% so với cùng kỳ, lợi nhuận sau thuế ghi nhận 133,8 tỷ đồng, giảm 52,4% so với cùng kỳ năm trước. Trong năm 2023, Công ty Dệt may Thành Công đặt kế hoạch doanh thu 3.927,4 tỷ đồng, giảm 9% so với cùng kỳ và lợi nhuận trước thuế dự kiến 244,9 tỷ đồng, giảm 13% so với thực hiện trong năm 2022. Như vậy, kết thúc năm 2023 với lợi nhuận trước thuế đạt 188,8 tỷ đồng, Công ty Dệt may Thành Công chỉ hoàn thành 77,1% so với kế hoạch lãi 244,9 tỷ đồng trong năm 2023. Lý giải về kết quả kinh doanh lao dốc năm 2023, ông Trần Như Tùng, Chủ tịch HĐQT Công ty Dệt may Thành Công cho biết trong năm 2023 là một năm đầy khó khăn và thách thức của các doanh nghiệp ngành dệt may, tình hình sản xuất kinh doanh của Công ty cũng gặp không ít khó khăn và thử thách do tình hình kinh tế thế giới và Việt Nam không thuận lợi trong năm làm giảm nhu cầu tiêu thụ, doanh nghiệp thiếu đơn hàng dẫn đến kết quả kinh doanh không đạt kế hoạch đề ra. Đóng cửa phiên giao dịch ngày 8/3, cổ phiếu TCM đóng cửa giá tham chiếu 45.000 đồng/cổ phiếu.

- Ngữ cảnh 3: Dệt may TNG: Đơn hàng mới từ Walmart, H&M… có thể giúp lợi nhuận năm 2024 tăng tới 47% Với việc phát triển thành công loạt khách hàng lớn mới, bao gồm cả Walmart và H&M trong quý 3/2023, lợi nhuận của Dệt may TNG (mã cổ phiếu TNG) trong năm 2024 có thể tăng tới 47%. Vừa qua, Công ty Cổ phần Đầu tư và Thương mại TNG (Dệt may TNG, mã cổ phiếu TNG - sàn HNX) vừa cho biết, đến giữa tháng 12/2023, công ty đã hoàn thành 100% kế hoạch doanh thu cả năm 2023, tương ứng mức 6.800 tỷ đồng và về đích trước kế hoạch 16 ngày. Hiện Dệt may TNG dự kiến tổng doanh thu cả năm 2023 sẽ đạt 7.030 tỷ đồng, vượt 3% so với kế hoạch năm và tăng 4% so với cùng kỳ năm 2022. Theo mục tiêu đề ra tại Đại hội đồng cổ đông thường niên năm 2023, Dệt may TNG đặt mục tiêu doanh thu cả năm nay là 6.800 tỷ đồng và lợi nhuận 299 tỷ đồng, đều là các chỉ tiêu tài chính cao nhất trong lịch sử hoạt động của doanh nghiệp này. Tuy nhiên, chỉ tiêu lợi nhuận có thể khó hoàn thành khi lũy kế 9 tháng đầu năm nay, Dệt may TNG mới ghi nhận lãi 171 tỷ đồng - tương đương hơn 57% mục tiêu cả năm. Nguyên nhân chủ yếu do tình trạng thiếu đơn hàng nghiêm trọng của toàn ngành dệt may buộc Dệt may TNG phải nhận các đơn hàng có biên lợi nhuận thấp để duy trì sản xuất. Đồng thời, tổng cầu dệt may toàn cầu giảm khiến giá bán các sản phẩm may mặc giảm đáng kể. Theo đánh giá mới nhất của BSC Equity Research, Dệt may TNG hiện có triển vọng hồi phục tốt hơn các doanh nghiệp cùng ngành khi thị trường dệt may dần bước vào pha phục hồi trong giai đoạn 2024 - 2025 nhờ doanh nghiệp này đã duy trì được quy mô doanh thu trong giai đoạn khó khăn nhất. Trong khi đó, hầu hết các doanh nghiệp khác phải ghi nhận doanh thu giảm từ 20% - 50%. Do vậy, khi đơn giá/đơn hàng dần hồi phục trở lại theo nhu cầu của thị trường, biên lợi nhuận được cải thiện sẽ giúp Dệt may TNG tăng trưởng trở lại mạnh hơn các doanh nghiệp cùng ngành. Lợi nhuận năm 2024 của Dệt may TNG kỳ vọng có thể tăng tới 47% so với năm 2023, theo BSC Equity Research. Các thị trường xuất khẩu lớn nhất của doanh nghiệp dệt may này gồm: Mỹ (chiếm 40% tổng doanh thu), EU (chiếm 40%), còn lại là các thị trường khác như Nga, Canada, Hà Lan , Hàn Quốc... Trong đó, tồn kho quần áo tại Mỹ tính đến tháng 9/2023 đã giảm tháng thứ 10 liên tiếp, giảm 11% so với vùng đỉnh hồi cuối năm 2022, xuống tương đương hồi nửa đầu năm 2022. Theo BSC Equity Research, mức tồn kho của nhóm khách hàng chính của Dệt may TNG như Adidas, PUMA, Columbia Sportwear đã giảm về tiệm cận mức trung bình của những năm trước đó. Cụ thể, tồn kho của Adidas và của Puma hiện lần lượt chỉ còn 5,5 tỷ EUR và 1,9 tỷ EUR, tương đương hồi quý 2/2022. Riêng tồn kho của Columbia Sportwear đạt 1,1 tỷ USD, tăng 20% so với quý 3/2022 nhưng điều này không quá ảnh hưởng do Columbia Sportwear ghi nhận doanh số tăng trưởng mạnh tại loạt thị trường trọng điểm, như Canada (tăng 17% so với quý 3/2022), châu Á (tăng 18%), và châu Âu – Trung Đông - châu Phi (EMEA) (tăng 37%). Nhìn chung, hàng tồn kho được đánh giá sẽ tiếp tục giảm trong quý 4/2023 nhờ các đợt giảm giá cuối năm tại các thị trường Mỹ và châu Âu (Black Friday, Cyber Monday, Boxing day,...) và các nhãn hàng sẽ tái nhập trở lại trong giai đoạn đầu năm 2024 để phục vụ thị trường cho vụ Xuân - Hè. Ngoài ra, trong năm 2023, bên cạnh việc duy trì lượng đơn hàng đối với những khách hàng hiện hữu, Dệt may TNG còn phát triển thành công thêm một số khách hàng mới như Walmart , H&M, LIDL trong sản xuất nhiều mặt hàng như áo khoác, áo nỉ, áo bơi, quần legging,... Do đó, Dệt may TNG kỳ vọng sẽ ghi nhận được nguồn đơn tăng thêm từ những đối tác mới trên. Trong quý 3/2023, doanh nghiệp này đã vượt qua bài kiểm định của các nhãn hàng kể trên về cả chất lượng và công suất nhà máy. Đồng thời, Dệt may TNG cũng đã đáp ứng các yêu cầu về ESG của khách hàng như xây dựng lộ trình sử dụng 100% năng lượng tái tạo, nguyên liệu tái chế, giảm phát thải carbon, và đảm bảo chế độ cho người lao động.

- Ngữ cảnh 4: Sợi Thế Kỷ (mã: STK) cũng có kế hoạch doanh thu đạt 2.103 tỷ đồng, tăng 189% so với năm 2023 và lợi nhuận sau thuế đạt 300 tỷ đồng, tăng 342%. Cơ sở để doanh nghiệp này đặt'''

question = "What is the export situation of the Vietnamese textile industry in 2024?"
input_text = template.format(context=context, question=question)
input_ids = tokenizer.encode(input_text, return_tensors='pt').to(model.device)
output = model.generate(input_ids, max_length=1000, num_beams=5, no_repeat_ngram_size=2, early_stopping=True)
answer = tokenizer.decode(output[0], skip_special_tokens=True)
print(answer)

📚 Documentation

Model Description

GRPO-VI-Qwen2-7B-RAG is a large language model fine-tuned from the base model Qwen2.5-7B-Instruct to serve Retrieval-Augmented Generation (RAG) tasks. The fine-tuning process involves Supervised Fine-Tuning combined with GRPO (Group Relative Policy Optimization). The model is trained on a Vietnamese-language dataset to improve Vietnamese language understanding and generation capabilities, and enhance performance on tasks that require integrating information retrieved from external documents.

Purpose of Use

The GRPO-VI-Qwen2-7B-RAG model is trained for RAG while retaining its conversational capability (with context length up to 8192 tokens). Therefore, it can handle the following scenarios:

• RAG-related tasks: multi-hop reasoning, negative filtering, information integration, and positive/negative identification.
• STEM tasks: related to mathematics and coding.
• General question answering.

Training Methodology

The model is trained in two stages: Supervised Fine-Tuning and GRPO.

• Supervised Fine-Tuning Data: Includes 10K RAG samples and 30K conversational samples covering math-related and general domain questions, all following a "think first, then answer" format.
• GRPO Data: Consists of 10K RAG samples and 3K samples related to math and code.
• Reward Scoring: Scores are assigned based on heuristics such as formatting quality, length of the reasoning section, length of the answer, purity of Vietnamese language in responses, string repetition, and a reward model that evaluates semantic quality for both RAG and STEM-related tasks.

Limitations

The model may have the following limitations:

• It does not guarantee accuracy for questions related to politics, society, etc.
• It may exhibit bias or express inappropriate viewpoints.

Benchmarks

We evaluated several LLMs on the RAG task using a manually curated dataset created by our team: EvalRAGData. The evaluation was conducted by human annotators using a 10-point scoring scale. Detailed results are as follows:

In addition, we also conducted benchmarks on the VMLU leaderboard:

🔧 Technical Details

The fine-tuning process of GRPO-VI-Qwen2-7B-RAG combines Supervised Fine-Tuning with GRPO. Supervised Fine-Tuning uses 10K RAG samples and 30K conversational samples, while GRPO uses 10K RAG samples and 3K math and code-related samples. Reward scoring is based on multiple heuristics and a reward model to evaluate semantic quality for RAG and STEM tasks.

📄 License

This project is licensed under the Apache-2.0 License.