AIbase
EN
Home
Gemma Tokenizer
G

Gemma Tokenizer

Developed by pcuenq
Gemmaトークナイザーの複製で、トークンアクセス不要のCI/テストシナリオ用
大規模言語モデル
Transformers
#トークンレス分かち書き#CIテスト専用#軽量分かち書き
Downloads 202
Release Time : 8/2/2024

Model Overview

Gemmaトークナイザーの複製で、継続的インテグレーションやテストシナリオを主目的とし、トークンアクセス不要で利用可能

Model Features

トークンアクセス不要
CI/テストシナリオ向けに設計されており、トークンアクセス不要で利用可能
軽量
トークナイザー複製としてリソース消費が少ない

Model Capabilities

テキスト分かち書き
テキスト前処理

Use Cases

ソフトウェア開発
継続的インテグレーションテスト
CI/CDプロセスでテキスト処理機能をテスト
分かち書き機能が正常に動作することを検証
ローカル開発テスト
開発者がローカル環境で分かち書き機能をテスト
トークンアクセス不要で機能テストを実施可能
Featured Recommended AI Models
Llama 3 Typhoon V1.5x 8b Instruct
タイ語専用に設計された80億パラメータの命令モデルで、GPT-3.5-turboに匹敵する性能を持ち、アプリケーションシナリオ、検索拡張生成、制限付き生成、推論タスクを最適化
大規模言語モデル Transformers Supports Multiple Languages
L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-TinyはSODAデータセットでトレーニングされた超小型対話モデルで、エッジデバイス推論向けに設計されており、体積はCosmo-3Bモデルの約2％です。
対話システム Transformers English
C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
RoBERTaアーキテクチャに基づく中国語抽出型QAモデルで、与えられたテキストから回答を抽出するタスクに適しています。
質問応答システム Chinese
R
uer
2,694
98
AIbase
Empowering the Future, Your AI Solution Knowledge Base
English简体中文繁體中文にほんご
© 2025AIbase