🚀 Janus-Pro-1B ONNX モデル
このプロジェクトは、DeepSeek AIのJanus-Pro-1BモデルをONNX形式に変換し、Transformers.jsと互換性を持たせたものです。画像とテキストの相互変換など、多様なタスクに対応しています。
🚀 クイックスタート
このモデルを使用するには、まずTransformers.jsライブラリをインストールする必要があります。
📦 インストール
NPMからTransformers.js JavaScriptライブラリをインストールできます。
npm i @huggingface/transformers
💻 使用例
基本的な使用法
画像+テキストからテキストへの変換
import { AutoProcessor, MultiModalityCausalLM } from "@huggingface/transformers";
const model_id = "onnx-community/Janus-Pro-1B-ONNX";
const processor = await AutoProcessor.from_pretrained(model_id);
const model = await MultiModalityCausalLM.from_pretrained(model_id);
const conversation = [
{
role: "<|User|>",
content: "<image_placeholder>\nConvert the formula into latex code.",
images: ["https://huggingface.co/datasets/Xenova/transformers.js-docs/resolve/main/quadratic_formula.png"],
},
];
const inputs = await processor(conversation);
const outputs = await model.generate({
...inputs,
max_new_tokens: 150,
do_sample: false,
});
const new_tokens = outputs.slice(null, [inputs.input_ids.dims.at(-1), null]);
const decoded = processor.batch_decode(new_tokens, { skip_special_tokens: true });
console.log(decoded[0]);
テキストから画像への変換
import { AutoProcessor, MultiModalityCausalLM } from "@huggingface/transformers";
const model_id = "onnx-community/Janus-Pro-1B-ONNX";
const processor = await AutoProcessor.from_pretrained(model_id);
const model = await MultiModalityCausalLM.from_pretrained(model_id);
const conversation = [
{
role: "<|User|>",
content: "A stunning princess from kabul in red, white traditional clothing, blue eyes, brown hair",
},
];
const inputs = await processor(conversation, { chat_template: "text_to_image" });
const num_image_tokens = processor.num_image_tokens;
const outputs = await model.generate_images({
...inputs,
min_new_tokens: num_image_tokens,
max_new_tokens: num_image_tokens,
do_sample: true,
});
await outputs[0].save("test.png");
📄 ライセンス
このプロジェクトはMITライセンスの下で公開されています。
属性 |
详情 |
モデルタイプ |
Janus-Pro-1B ONNX |
ベースモデル |
deepseek-ai/Janus-Pro-1B |
パイプラインタグ |
any-to-any |
ライブラリ名 |
transformers.js |
タグ |
text-to-image, image-to-text, image-text-to-text |