ALMA 7B Ja V2

🚀 新しい翻訳モデルがリリースされました！

C3TR-Adapter は google/gemma-7b の QLoRA アダプターです。
4ビット量子化であるにもかかわらず、GPUメモリ要件は8.1GBに増加しています。
しかし、Colabの無料版で実行することが可能で、性能は大幅に向上しています！

🚀 クイックスタート

webbigdata/ALMA-7B-Ja-V2

ALMA-7B-Ja-V2は日本語から英語、英語から日本語の翻訳が可能な機械翻訳モデルです。
このモデルは以前のモデル(ALMA-7B-Ja)に更に学習を追加し、性能を向上させています。

日本語と英語間に加えて、このモデルは以下の言語間の翻訳能力も持っていますが、日英、英日翻訳を主目的にしています。

• ドイツ語 German(de) and 英語 English(en)
• 中国語 Chinese(zh) and 英語 English(en)
• アイスランド語 Icelandic(is) and 英語 English(en)
• チェコ語 Czech(cs) and 英語 English(en)

✨ 主な機能

ベンチマーク結果

以下の三種の指標を使って翻訳性能を確認しました。

• BLEU：翻訳テキストが元のテキストにどれだけ似ているかを評価する指標です。しかし、単語の出現頻度だけを見ているため、語順の正確さや文の流暢さを十分に評価できないという弱点があります。
• chrF++：文字の組み合わせの一致度と語順に基づいて、翻訳の正確さを評価する指標です。弱点としては、長い文章の評価には不向きであることが挙げられます。
• comet：機械学習モデルを使って翻訳の品質を自動的に評価するためのツールで、人間の主観的評価に近いと言われていますが、機械学習ベースであるため、元々のモデルが学習に使ったデータに大きく依存するという弱点があります。

vs. NLLB-200

Meta社の200言語以上の翻訳に対応した超多言語対応機械翻訳モデルNLLB-200シリーズと比較したベンチマーク結果は以下です。

previous our model(ALMA-7B-Ja)

ALMA-7B-Ja-V2

現実世界のアプリケーションとの比較

ALMA-7B-Ja-V2を様々なジャンルの文章を現実世界のアプリケーションと比較した結果は以下です。

政府の公式文章 Government Official Announcements

古典文学 Classical Literature

二次創作 Fanfiction

💻 使用例

基本的な使用法

Googleの無料WebツールであるColabを使うとALMA_7B_Ja_V2の性能を簡単に確かめる事ができます。
Sample Code For Free Colab

🔧 技術詳細

その他の版 Other Version

llama.cpp

llama.cppの主な目的はMacBook上で4ビット整数量子化を使用して LLaMA モデルを実行する事です。
4ビット量子化に伴い、性能はやや低下しますが、mmngaさんが作成してくれたwebbigdata-ALMA-7B-Ja-V2-ggufを使うとMacやGPUを搭載していないWindows、Linuxで本モデルを動かす事ができます。
GPU無版のColabで動かすサンプルはこちら

GPTQ

GPTQはモデルサイズを小さくする手法(量子化といいます)です。
ALMA-7B-Ja-V2-GPTQ-Ja-EnはGPTQ量子化版で、モデルサイズ(3.9GB)とメモリ使用量を削減し、速度を向上しています。
ただし、性能は少し落ちてしまいます。また、日本語と英語以外の言語への翻訳能力は著しく低下しているはずです。
Sample Code For Free Colab webbigdata/ALMA-7B-Ja-V2-GPTQ-Ja-En

ファイル全体を一度に翻訳したい場合は、以下のColabをお試しください。
ALMA_7B_Ja_GPTQ_Ja_En_batch_translation_sample

モデルの詳細

ALMA (Advanced Language Model-based trAnslator) はLLMベースの翻訳モデルで、新しい翻訳モデルパラダイムを採用しています。単言語データでのファインチューニングから始まり、高品質の並列データを使用してさらに最適化されます。この二段階のファインチューニングプロセスにより、強力な翻訳性能が保証されます。
詳細は論文をご覧ください。

@misc{xu2023paradigm,
      title={A Paradigm Shift in Machine Translation: Boosting Translation Performance of Large Language Models}, 
      author={Haoran Xu and Young Jin Kim and Amr Sharaf and Hany Hassan Awadalla},
      year={2023},
      eprint={2309.11674},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

Original Model ALMA-7B. (26.95GB)
Prevous Model ALMA-7B-Ja. (13.3 GB)

📄 ライセンス

このモデルはllama2ライセンスの下で提供されています。

📚 ドキュメント

about this work

• This work was done by : webbigdata.