34b Beta

🚀 CausalLM 34B β

CausalLM 34B βは高性能な言語モデルで、特定のプロンプトフォーマットに対応し、多様なタスクでの活用が期待されます。

🚀 クイックスタート

デモ:

✨ 主な機能

プロンプトフォーマット

chatml形式をサポートしています。

モデルの問題点と対策

モデルの重みには精度に関する問題があります。次のバージョンアップデートでは、一部の進捗をロールバックし、再トレーニングを行い、これらの問題をできるだけ早く修正する予定です。

⚠️ 重要提示

一時的にVLLMのような「高速推論フレームワーク」を使用しないでください。代わりにTransformersを使用して推論を行ってください。そうしないと、精度の問題により、出力品質が著しく低下します。より高速な推論が必要な場合は、一時的にllama.cppでq8_0量子化（このモデルのみではbf16 vllmよりも高速で良好）を使用するか、公式バージョンを待つことができます。これらの問題は次回のバージョンアップデートで修正予定です。

⚠️ 重要提示

繰り返しペナルティは使用しないでください！

⚠️ 重要提示

量子化キャリブレーションにwikitextを使用しないでください。すべてのwikitextは合成データセットで再調整されており、その分布は元のwikitextと大きく異なります。

MT-Benchスコア

MT-Benchでは8.5のスコアを記録しています。

汚染検出結果

データはhttps://huggingface.co/spaces/Yeyito/llm_contamination_detector から取得しています。このモデルはベンチマーク上でトレーニングされていませんが、コスト制約によりトレーニングデータセットの汚染は避けられません。ただし、安全であると考えられます。

📄 ライセンス

このプロジェクトはGPL-3.0ライセンスの下で提供されています。