Teapotai Teapotllm Onnx

🚀 TeapotAI TeapotLLM ONNX

TeapotAI TeapotLLM ONNX 是 teapotai/teapotllm 的 ONNX 版本，可與 Transformers.js 配合使用。此外，還包含 teapotai Python 包的 JavaScript 版本，方便使用 Transformers.js 庫與模型進行交互。

📦 安裝指南

yarn install

💻 使用示例

基礎用法

本庫提供了一個 TeapotAI 類，可幫助你與語言模型進行交互。以下是一個基本示例：

import TeapotAI from './TeapotAI.js';

const ai = new TeapotAI({
  pipelineOptions: {
    dtype: 'q4'
  }
});

// 帶上下文的查詢
const response = await ai.query(
  "What is the capital?",
  "France is a country in Western Europe."
);

📄 許可證

本項目採用 MIT 許可證。

信息表格

常用鏈接

• 查看示例腳本 index.js。
• 查看 WebGPU ONNX 在線演示。