Qwen3 0.6B ONNX

🚀 transformers.js

transformers.js 庫將 Qwen/Qwen3 - 0.6B 模型的 ONNX 權重進行適配，使其能與 Transformers.js 兼容，可用於在 JavaScript 環境中進行文本生成等任務。

🚀 快速開始

你可以通過以下步驟使用該庫：

📦 安裝指南

若尚未安裝 Transformers.js JavaScript 庫，可使用以下命令從 NPM 進行安裝：

npm i @huggingface/transformers

💻 使用示例

基礎用法

import { pipeline, TextStreamer } from "@huggingface/transformers";

// 創建文本生成管道
const generator = await pipeline(
  "text-generation",
  "onnx-community/Qwen3-0.6B-ONNX",
  { dtype: "q4f16" },
);

// 定義消息列表
const messages = [
  { role: "system", content: "You are a helpful assistant." },
  { role: "user", content: "Write me a poem about Machine Learning." },
];

// 生成響應
const output = await generator(messages, {
    max_new_tokens: 512,
    do_sample: false,
    streamer: new TextStreamer(generator.tokenizer, { skip_prompt: true, skip_special_tokens: true}),
});
console.log(output[0].generated_text.at(-1).content);

🔧 技術細節

需要注意的是，為 ONNX 權重單獨創建一個倉庫是一種臨時解決方案，直到 WebML 獲得更廣泛的應用。如果你想讓你的模型適用於 Web，建議使用 🤗 Optimum 將模型轉換為 ONNX 格式，並按照本倉庫的結構進行組織（將 ONNX 權重放在名為 onnx 的子文件夾中）。

📄 模型信息