Acgvoc2vec

🚀 ACGVoc2vec

ACGVoc2vecは、アニメ関連の文の類似度を測定するためのモデルです。sentence-transformersのアーキテクチャをベースに、多言語対応の事前学習済みモデルを微調整することで、アニメ分野の知識を融合したテキスト特徴ベクトルを生成します。

✨ 主な機能

• 多言語対応：中日英などの多言語のアニメ関連テキストに対応。
• 特徴ベクトル生成：アニメ関連のテキストを特徴ベクトルに変換し、関連するテキスト間の距離を近づける。

📦 インストール

このモデルを使用するには、sentence-transformersをインストールする必要があります。以下のコマンドを実行してください。

pip install -U sentence-transformers

💻 使用例

基本的な使用法

from sentence_transformers import SentenceTransformer
sentences = ["This is an example sentence", "Each sentence is converted"]

model = SentenceTransformer('OysterQAQ/ACGVoc2vec')
embeddings = model.encode(sentences)
print(embeddings)

🔧 技術詳細

このモデルの構造はsentence-transformersに基づいており、distiluse-base-multilingual-cased-v2の事前学習済み重みを使用しています。学習率は5e-5で、MultipleNegativesRankingLossを損失関数として、アニメ関連の文のペアデータセットで微調整されています。

データセット

データセットは主に以下のソースから収集されています。

• Bangumi
  • アニメの日本語名 - アニメの中国語名
  • アニメの日本語名 - 概要
  • アニメの中国語名 - 概要
  • アニメの中国語名 - タグ
  • アニメの日本語名 - キャラクター
  • アニメの中国語名 - キャラクター
  • 声優の日本語名 - 声優の中国語名
• pixiv
  • タグの日本語名 - タグの中国語名
• AnimeList
  • アニメの日本語名 - アニメの英語名
• ウィキペディア
  • アニメの日本語名 - アニメの中国語名
  • アニメの日本語名 - アニメの英語名
  • 中英日の詳細ページのh2見出しと対応するテキスト
  • 概要の多言語対照（中日英）
  • アニメ名 - 概要（中日英）
• moegirl
  • アニメの中国語名の概要 - 概要
  • アニメの中国語名 + 小見出し - 対応する内容

これらのデータを収集、洗浄、処理して、約8000万対のテキストペアを作成し（現在も増加中）、batchzise=80で20エポックの学習を行いました。

モデルアーキテクチャ

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: DistilBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False})
  (2): Dense({'in_features': 768, 'out_features': 512, 'bias': True, 'activation_function': 'torch.nn.modules.activation.Tanh'})
)