Kollama 33b

🚀 KoLLaMA

KoLLaMAは、JAXを介してLLaMAアーキテクチャで韓国語/英語/コードのデータセットを使用して訓練された言語モデルです。Google TPU Research Cloudプログラムから一部の計算リソースの提供を受け、開発が進められています。

🚀 クイックスタート

🚧 重要提示

このリポジトリは現在構築中です🚧

✨ 主な機能

• 韓国語、英語、コードに対応した言語モデル
• LLaMAアーキテクチャをベースに開発

📚 ドキュメント

作業状況

✅ - 完了 ⏳ - 現在作業中

• ✅ 新しいBBPEトークナイザーのトレーニング
• ✅ TPUv4 Podsでのトレーニングコードのテスト（モデル並列を使用）
• ✅ 変換テスト（JAXからPyTorchへ）
• ✅ 最小データセットでのLMトレーニング検証（1文、1000ステップ）
• ⏳ データシャッフラーの構築（カリキュラム学習）
• ⏳ 7Bモデルのトレーニング
• ⏳ 13Bモデルのトレーニング
• ⏳ 33Bモデルのトレーニング
• 65Bモデルのトレーニング

モデル詳細

想定用途

主な想定用途

KoLLaMAの主な用途は、韓国語のオープンソース大規模言語モデルに関する研究です。

主な想定ユーザー

このモデルの主な想定ユーザーは、自然言語処理、機械学習、人工知能の研究者です。

想定外の使用例

LLaMAはベースまたは基礎モデルです。したがって、さらなるリスク評価と軽減策を行わずに下流のアプリケーションで使用すべきではありません。特に、当社のモデルは人間のフィードバックでトレーニングされていないため、有毒または不快な内容、誤った情報、または一般的に役に立たない回答を生成する可能性があります。

要因

関連要因

モデルの性能が変動する可能性がある最も関連性の高い要因の1つは、使用する言語です。トレーニングデータに20の言語を含めていますが、データセットの大部分は英語のテキストで構成されているため、モデルは英語での性能が他の言語よりも良いと予想されます。関連して、以前の研究では、異なる方言で性能が変動する可能性があることが示されており、当社のモデルでも同様のことが予想されます。

評価データセット

[TBD]

トレーニングデータセット

[TBD]

倫理的考慮事項

データ

モデルのトレーニングに使用されるデータは、主にWebから様々なソースから収集されています。したがって、不快な、有害な、偏った内容が含まれています。したがって、モデルはトレーニングデータからのそのようなバイアスを示すと予想されます。

人間の生活

このモデルは、人間の生活に関する重要な決定を下すために使用することを意図しておらず、そのような方法で使用すべきではありません。

リスクと危害

大規模言語モデルのリスクと危害には、有害な、不快な、または偏った内容の生成が含まれます。これらのモデルは、誤った情報を生成する傾向があり、これは時には幻覚と呼ばれます。当社のモデルもこの点で例外ではないと予想されます。

使用例

LLaMAは基礎モデルであるため、リスクのさらなる調査と軽減策を行わずに下流のアプリケーションで使用すべきではありません。これらのリスクと潜在的な問題のある使用例には、誤情報の生成、有害な、偏った、または不快な内容の生成などが含まれますが、これらに限定されません。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。