AIbase
JA
ホーム
Compoundpiece
C

Compoundpiece

benjaminによって開発
複合語正規化モデル。複合語の分解と正規化を行い、言語モデルの複合語処理能力を向上させます。
大規模言語モデル 複数言語対応オープンソースライセンス:MIT#複合語分解#多言語サポート#テキスト正規化
ダウンロード数 20
リリース時間 : 5/13/2023

モデル概要

このモデルは論文『CompoundPiece：言語モデルの複合語分解性能の評価と向上』に基づいており、複合語の分解と正規化処理に特化し、多言語をサポートしています。

モデル特徴

多言語サポート
50以上の言語の複合語分解をサポートし、様々な語族や地域をカバーしています。
効率的な分解
複合語を迅速かつ正確に小さな意味単位に分解し、言語モデルの理解能力を向上させます。
Transformerベース
Transformerアーキテクチャを採用し、複雑な複合語処理における効率性と正確性を確保しています。

モデル能力

複合語分解
多言語処理
テキスト正規化

使用事例

自然言語処理
複合語正規化
複合語を小さな意味単位に分解し、後続の処理や分析を容易にします。
例えば、'Hauswirtschaftslehre'を'Haus-Wirtschaft-Lehre'に分解します。
言語モデル強化
言語モデル性能向上
複合語を分解することで、言語モデルがテキストをより良く理解し生成できるよう支援します。
多言語環境におけるモデルのパフォーマンスを向上させます。
おすすめAIモデル
Llama 3 Typhoon V1.5x 8b Instruct
タイ語専用に設計された80億パラメータの命令モデルで、GPT-3.5-turboに匹敵する性能を持ち、アプリケーションシナリオ、検索拡張生成、制限付き生成、推論タスクを最適化
大規模言語モデル Transformers 複数言語対応
L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-TinyはSODAデータセットでトレーニングされた超小型対話モデルで、エッジデバイス推論向けに設計されており、体積はCosmo-3Bモデルの約2％です。
対話システム Transformers 英語
C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
RoBERTaアーキテクチャに基づく中国語抽出型QAモデルで、与えられたテキストから回答を抽出するタスクに適しています。
質問応答システム 中国語
R
uer
2,694
98
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
English简体中文繁體中文にほんご
© 2025AIbase