模型概述
模型特點
模型能力
使用案例
🚀 ToRoLaMa:越南語指令跟隨與聊天模型
ToRoLaMa 是越南的 Taureau AI 與法國的 Torus AI 合作的成果。它是一個開源的多輪大型語言模型(LLM),最初專注于越南語,是邁向支持多種國際語言這一更廣泛目標的第一步。
🚀 快速開始
ToRoLaMa 使用了與 Vicuna 類似的提示格式,適用於多輪、高速且高效利用令牌的對話。以下是一個示例提示:
Cuộc hội thoại giữa người dùng và một trí thông minh nhân tạo. Đưa ra câu trả lời chính xác, giúp ích cho người dùng.
USER: chào
ASSISTANT: Xin chào! Tôi có thể giúp gì cho bạn hôm nay?</s>
USER: để quản lý thời gian hiệu quả tôi nên làm thế nào??
ASSISTANT: Để quản lý thời gian hiệu quả, bạn có thể thực hiện các bước sau đây:
Lập kế hoạch: Tạo ra lịch trình hoặc danh sách công việc cần làm trong ngày hoặc tuần.
Ưu tiên công việc: Xác định công việc quan trọng và ưu tiên thực hiện trước.
Sử dụng lịch: Sử dụng lịch để theo dõi các hoạt động và sự kiện trong ngày.
Sử dụng một số công cụ hỗ trợ: Sử dụng các công cụ trực tuyến, ứng dụng điện thoại di động để giúp quản lý thời gian.
Tránh phân tâm: Tránh những việc phức tạp và không cần thiết để giải quyết trong quá trình làm việc.
Nghỉ ngơi: Để giảm căng thẳng và tăng năng suất, hãy dành thời gian nghỉ ngơi giữa các công việc.
Đánh giá và cải tiến: Đánh giá các phương pháp quản lý thời gian của bạn để tìm cách cải tiến trong tương lai.
Những cách trên sẽ giúp bạn quản lý thời gian hiệu quả hơn và tăng cường năng suất trong công việc.</s>
我們的 GitHub 倉庫中的 inference_hf.py 文件包含了一個從 Huggingface hub 運行 ToRoLaMa 模型的示例代碼。使用以下命令執行:
python inference_hf.py
部署
ToRoLaMa 可以使用 Fastchat 輕鬆部署。
步驟 1:安裝 fastchat
pip3 install "fschat[model_worker,webui]"
步驟 2:運行 RESTful API 服務器
首先運行控制器:
python3 -m fastchat.serve.controller
接下來啟動模型工作器:
python3 -m fastchat.serve.model_worker --model-path path-to-ToRoLaMa --conv-template vicuna_v1.1
然後啟動 RESTful API 服務器:
python3 -m fastchat.serve.openai_api_server --host localhost --port 8000
最後,運行示例 streamlit 代碼:
streamlit run demo.py
✨ 主要特性
- 多語言支持:最初專注于越南語,未來計劃擴展到其他語言。
- 高性能:使用多樣化和廣泛的數據集進行訓練,旨在提供增強的語言理解和表示能力,有望達到甚至超越現有商業大語言模型的效率、性能和適用性。
- 開源:以開源形式發佈,遵循 LLaMA 2 Community License。
- 快速高效:模型尺寸較小,結合創新的 Vietnamese Tokenizer,令牌長度比 ChatGPT 和 LLaMA 用於越南語短語時短 25%,提升了速度。
- 易於部署:可以使用 Fastchat 輕鬆部署。
📦 安裝指南
安裝 fastchat
pip3 install "fschat[model_worker,webui]"
💻 使用示例
基礎用法
Cuộc hội thoại giữa người dùng và một trí thông minh nhân tạo. Đưa ra câu trả lời chính xác, giúp ích cho người dùng.
USER: chào
ASSISTANT: Xin chào! Tôi có thể giúp gì cho bạn hôm nay?</s>
高級用法
USER: để quản lý thời gian hiệu quả tôi nên làm thế nào??
ASSISTANT: Để quản lý thời gian hiệu quả, bạn có thể thực hiện các bước sau đây:
Lập kế hoạch: Tạo ra lịch trình hoặc danh sách công việc cần làm trong ngày hoặc tuần.
Ưu tiên công việc: Xác định công việc quan trọng và ưu tiên thực hiện trước.
Sử dụng lịch: Sử dụng lịch để theo dõi các hoạt động và sự kiện trong ngày.
Sử dụng một số công cụ hỗ trợ: Sử dụng các công cụ trực tuyến, ứng dụng điện thoại di động để giúp quản lý thời gian.
Tránh phân tâm: Tránh những việc phức tạp và không cần thiết để giải quyết trong quá trình làm việc.
Nghỉ ngơi: Để giảm căng thẳng và tăng năng suất, hãy dành thời gian nghỉ ngơi giữa các công việc.
Đánh giá và cải tiến: Đánh giá các phương pháp quản lý thời gian của bạn để tìm cách cải tiến trong tương lai.
Những cách trên sẽ giúp bạn quản lý thời gian hiệu quả hơn và tăng cường năng suất trong công việc.</s>
📚 詳細文檔
模型權重
我們最新的 ToRoLaMa 權重可以在以下位置找到:
日期 | 版本 | Huggingface 倉庫 | 上下文長度 |
---|---|---|---|
19/12/2023 | ToRoLaMa-7B-1.0 |
ToRoLaMa 7B 1.0 | 2048 |
團隊介紹
- Torus AI:於 2019 年在法國圖盧茲由一群科學家在 Nguyen Tien Zung 教授的領導下成立。Torus Actions 這個名字來源於 Zung 發現的 the toric conservation principle:
Everything conserved by a dynamical system is also conserved by its associated torus actions.
- Taureau AI:由 Torus AI 的人員於 2021 年在越南河內成立,專注於通用人工智能平臺的開發、人工智能產品工程和軟件開發,為 Torus AI 生態系統內外的其他公司提供服務。
評估
我們使用 Vicuna 和 PhoGPT 的基準測試結果來評估 ToRoLaMa,並使用 Fastchat MT-bench 方法 將我們的結果與其他模型進行比較。
基準測試得分
排名 | 模型 | 得分 |
---|---|---|
1 | gpt-4 | 9.52500 |
2 | gpt-3.5-turbo | 9.23750 |
3 | ToRoLaMa 7B | 7.31875 |
4 | URA-LLaMA-13B* | 6.98750 |
5 | PhoGPT-7B5-Instruct | 6.49375 |
6 | Vietcuna-7B-v3 | 5.21250 |
7 | URA-LLaMA-7B* | 3.58750 |
8 | Vietcuna-3B | 2.28750 |
*注:URA 模型的得分未考慮它們經常用英語回答越南語問題這一事實。
各主題基準測試詳情
上述基準測試結果表明,ToRoLaMa 在定性任務方面優於其他模型,特別是在寫作和回答問題方面幾乎與 GPT - 3.5 - turbo 相當。然而,由於其訓練數據的性質,它在編碼和數學等定量任務中存在侷限性,這為未來在 STEM 相關任務上的改進提供了機會。
如需詳細的基準測試信息並重新運行評估代碼,請參考 Fastchat MT - bench 方法。我們已將每個模型的答案、提示和評估結果包含在 HERE 以供復現。生成的結果也可以在 HERE 進行人工評估。
Open LLM Leaderboard 評估結果
詳細結果可以在 這裡 找到。
指標 | 值 |
---|---|
平均 | 47.87 |
AI2 推理挑戰(25 次少樣本學習) | 51.71 |
HellaSwag(10 次少樣本學習) | 73.82 |
MMLU(5 次少樣本學習) | 45.34 |
TruthfulQA(0 次少樣本學習) | 44.89 |
Winogrande(5 次少樣本學習) | 70.09 |
GSM8k(5 次少樣本學習) | 1.36 |
🔧 技術細節
ToRoLaMa 的預訓練模型基於 Vietnamese - LLaMA2,這是 bkai - foundation - labs 提供的 LLaMA 2 模型的微調版本,並使用大量越南語數據集進行了增強。然後,該模型使用 430K 高質量、多輪問答進行訓練。訓練數據來源包括 UIT - ViQUAD、[Bactrian - X](https://huggingface.co/datasets/MBZUAI/Bactrian - X)、[Grade - school - math](https://github.com/openai/grade - school - math) 等,以及我們內部包含多個主題對話的數據。
📄 許可證
ToRoLaMa 遵循 ToRoLaMa 社區許可證 協議,同時也遵循 LLaMA 2 Community License,版權所有 © Meta Platforms, Inc. 保留所有權利。
免責聲明
本模型源自 Meta 的 LLaMA - 2 模型,因此嚴格遵守 LLaMA 2 社區許可協議。我們明確聲明,對於模型輸出的準確性、可靠性、可用性或完整性,以及其中呈現的數據,不提供任何保證、擔保或承諾。對於因使用我們的模型而產生的任何直接或間接損失、損害或不利後果,我們不承擔任何責任。請注意,模型生成的內容可能包含不準確信息、褻瀆性語言、仇恨言論、歧視性言論和/或誤導性敘述。將此模型或其衍生產品用於商業目的時,必須完全遵守所有適用的當地法律法規,確保模型生成內容的合法性。對於使用 ToRoLaMa 及其相關文件開發的任何產品或服務,我們不承擔任何責任。
致謝
本工作使用了 [bkai - foundation - labs](https://huggingface.co/bkai - foundation - models/vietnamese - LLaMA2 - 7b - 40GB) 和 [fastchat](https://github.com/lm - sys/FastChat/tree/main) 及其參考文獻。
如果您使用 ToRoLaMa,請在您的出版物中引用我們的工作:
@misc{allbyai2023ToRoLaMa,
title={ToRoLaMa: The Vietnamese Instruction - Following and Chat Model},
author={Duy Quang Do, Hoang Le and Duc Thang Nguyen},
year={2023},
note={https://github.com/allbyai/ToRoLaMa}
howpublished={Software}
}



