Vistral 7B Chat Gguf

🚀 Vistral-7B-Chat - GGUF

Vistral-7B-Chat là một mô hình ngôn ngữ lớn, tuy nhiên các mô hình ngôn ngữ lớn thường không thể chạy trên máy tính xách tay của bạn. Nhưng nhờ dự án llama.cpp, bây giờ chúng ta có thể chạy Vistral-7B-Chat trên một máy tính đơn (Windows hoặc Macbook) ngay cả khi không có GPU chuyên dụng.

基本信息

• 模型創建者：Viet Mistral
• 原始模型：Vistral-7B-Chat
• 許可證：afl - 3.0
• 模型標籤：vistral, mistral, pytorch, uonlp, Viet - Mistral

模型量化信息

模型由 chiennv 進行量化。

📚 詳細文檔

關於GGUF

GGUF là một định dạng mới được giới thiệu bởi nhóm llama.cpp vào ngày 21 tháng 8 năm 2023. Nó là sự thay thế cho GGML. GGUF có nhiều ưu điểm so với GGML, chẳng hạn như mã hóa token tốt hơn và hỗ trợ các token đặc biệt. Nó cũng hỗ trợ metadata và được thiết kế để có thể mở rộng.

Dưới đây là một số client và thư viện được biết là hỗ trợ GGUF:

• llama.cpp：Dự án nguồn gốc của GGUF. Cung cấp CLI và tùy chọn server.
• [text - generation - webui](https://github.com/oobabooga/text - generation - webui)：Giao diện web được sử dụng rộng rãi nhất, có nhiều tính năng và các tiện ích mở rộng mạnh mẽ. Hỗ trợ tăng tốc GPU.
• LM Studio：Một GUI cục bộ dễ sử dụng và mạnh mẽ cho Windows và macOS (Silicon), hỗ trợ tăng tốc GPU.
• ctransformers：Một thư viện Python với tăng tốc GPU, hỗ trợ LangChain và server AI tương thích với OpenAI.

提示模板

<s>[INST] <<SYS>>
Bạn là một trợ lí Tiếng Việt nhiệt tình và trung thực. Hãy luôn trả lời một cách hữu ích nhất có thể, đồng thời giữ an toàn.
Câu trả lời của bạn không nên chứa bất kỳ nội dung gây hại, phân biệt chủng tộc, phân biệt giới tính, độc hại, nguy hiểm hoặc bất hợp pháp nào. Hãy đảm bảo rằng các câu trả lời của bạn không có thiên kiến xã hội và mang tính tích cực.Nếu một câu hỏi không có ý nghĩa hoặc không hợp lý về mặt thông tin, hãy giải thích tại sao thay vì trả lời một điều gì đó không chính xác. Nếu bạn không biết câu trả lời cho một câu hỏi, hãy trẳ lời là bạn không biết và vui lòng không chia sẻ thông tin sai lệch.
<</SYS>>

{prompt} [/INST]

Bạn cũng có thể sử dụng tệp mẫu trò chuyện trong kho lưu trữ này.

在LM Studio上本地部署Vistral

Để triển khai Vistral cục bộ trên LM Studio, hãy đảm bảo bạn đang sử dụng mẫu trò chuyện được chỉ định, tải xuống tại đây. Trước khi bắt đầu quá trình, hãy đảm bảo đã tải lên mẫu trò chuyện, như hình ảnh dưới đây:

Bước này rất quan trọng để Vistral hoạt động đúng cách trên máy tính cục bộ của bạn.

與langchain一起使用

文檔未提供具體使用方法。

引用

@article{chien2023vistral,
  author = {Chien Van Nguyen, Thuat Nguyen, Quan Nguyen, Huy Huu Nguyen, Björn Plüster, Nam Pham, Huu Nguyen, Patrick Schramowski, Thien Huu Nguyen},
  title = {Vistral-7B-Chat - Towards a State-of-the-Art Large Language Model for Vietnamese},
  year = 2023,
}