Teapotai Teapotllm Onnx

🚀 TeapotAI TeapotLLM ONNX

teapotai/teapotllm のONNXバージョンで、Transformers.js と共に使用できます。 また、Transformers.jsライブラリを使ってモデルとやり取りするための、teapotai PythonパッケージのJavaScriptバージョンも含まれています。 サンプルスクリプト index.js をご覧ください。 WebGPU ONNX Playground を確認してください。

🚀 クイックスタート

このプロジェクトは、TeapotAI TeapotLLMのONNXバージョンを提供し、Transformers.jsと連携して使用できます。また、JavaScriptでモデルとやり取りするためのパッケージも含まれています。

📦 インストール

yarn install

💻 使用例

基本的な使用法

import TeapotAI from './TeapotAI.js';

const ai = new TeapotAI({
  pipelineOptions: {
    dtype: 'q4'
  }
});

// Query with context
const response = await ai.query(
  "What is the capital?",
  "France is a country in Western Europe."
);

📄 ライセンス

このプロジェクトはMITライセンスの下で提供されています。