UlizaLlama3オープンソース言語モデル - スワヒリ語のテキスト処理と生成能力を強化

ホーム

Ulizallama3

Jacarandaによって開発

Meta-Llama-3-8Bを基にスワヒリ語に最適化した言語モデルで、スワヒリ語のテキスト処理と生成能力を向上

大規模言語モデル

Transformers

複数言語対応#スワヒリ語最適化 #LoRAファインチューニング #医療農業Q&A

ダウンロード数 17

リリース時間 : 6/29/2024

モデル概要

スワヒリ語に特化して最適化された80億パラメータの言語モデル。元のLlama3の汎用能力を保持しつつ、スワヒリ語の理解と生成を強化

モデル特徴

バイリンガル最適化

スワヒリ語タスクのパフォーマンスと英語の汎用能力を同時に向上

LoRA効率的トレーニング

LoRA技術を用いた2段階トレーニングで計算コストを削減

文化的感受性

安全なデータセットを統合し、スワヒリ文化の理解を強化

倫理準拠

有害コンテンツの例と準拠した代替案を含むトレーニング

モデル能力

スワヒリ語テキスト生成

バイリンガルQ&A

インストラクションフォロー

ストーリー創作

医療情報提供

使用事例

公共サービス

医療Q&A

スワヒリ語での医療常識の解答を提供

元のモデルより正確な病因分析

教育

ストーリー生成

スワヒリ語の児童向けストーリーを創作

文化的に関連した一貫性のあるストーリーを生成

農業

農業知識Q&A

肥料使用などの農業問題に解答

5つの科学的利点を正確に列挙

🚀 ウリザラマ3のモデルカード

ウリザラマ3は、スワヒリ語と英語の質問応答タスクに最適化された言語モデルです。このモデルは、事前学習されたMeta/Llama3モデルをベースに、スワヒリ語のコーパスを用いて継続的な事前学習と命令微調整を行うことで開発されました。

🚀 クイックスタート

このノートブックを使用して推論を行ってください。L4またはA100 GPUでの推論をお勧めします。

✨ 主な機能

スワヒリ語タスクでの性能向上
元のLlama 3モデルの一般的な言語能力を維持
スワヒリ語の理解と生成の最適化

📦 インストール

元文書にインストール手順は記載されていません。

📚 ドキュメント

モデルの詳細

ウリザラマ3は、meta-llama/Meta-Llama-3-8Bをベースに構築された80億パラメータの言語モデルです。このモデルは、スワヒリ語のテキストを処理および生成する能力を強化するために特別に開発されています。

モデルの説明

主な特徴:

スワヒリ語タスクでの性能向上
元のLlama 3モデルの一般的な言語能力を維持
スワヒリ語の理解と生成の最適化

トレーニング: ウリザラマのトレーニングプロセスは、2つの主要な段階で構成されています。

1. LoRAベースの継続的事前学習: 公開されているスワヒリ語のコーパスを使用して継続的な事前学習を行いました。これらのコーパスは、Meta/Llama3トークナイザを使用して前処理されました。主な焦点は、因果的言語モデリング、具体的には、先行するスワヒリ語のトークンに基づいて次のスワヒリ語のトークンを予測するようにモデルをトレーニングすることでした。継続的事前学習では、LoRA技術を実装し、基礎となるMeta/Llama3モデルのベースモデルパラメータを凍結し、追加の軽量コンポーネント（アダプター）を導入しました。これらのアダプターは、スワヒリ語の複雑さ、用語、ニュアンスを捉えるために特別にトレーニングされました。このアプローチにより、事前学習されたMeta/Llama3モデルに埋め込まれた知識を活用し、スワヒリ語に最適化するバランスを取り、Llama3モデル全体を再トレーニングする際の計算コストを抑えることができました。

2. LoRAベースの命令微調整: 精選されたスワヒリ語の命令と応答のデータセットで微調整されました。一般的な言語タスクでの性能を向上させるために、タスク固有のデータが含まれています。スワヒリ語での一貫性と文脈理解の維持が強調されています。安全なデータセットを組み込み、安全で倫理的な応答を生成するモデルの能力を向上させました。有害なコンテンツの例と適切な非有害な代替案が含まれています。バイアスを減らし、スワヒリ語の文脈での文化的感受性の理解を向上させることに焦点を当てています。

概算のデータセットサイズ:

継続的事前学習: [11.3 GBのテキスト]
命令微調整: [66,280の命令 - 応答ペア]

属性	詳情
開発者	Jacaranda Health
モデルタイプ	Llama
言語 (NLP)	スワヒリ語と英語
ライセンス	CC BY - NC - SA 4.0 DEED
モデル開発者	Stanslaus Mwongela, Jay Patel, Sathy Rajasekharan, Lyvia Lusiji, Francesco Piccino, Mfoniso Ukwak, Ellen Sebastian

使用方法

ウリザラマは、下流タスク、特にスワヒリ語、英語、または両方の命令データセットを必要とするタスクに最適化されています。組織は、特定のドメインに合わせてさらに微調整することができます。潜在的な領域は以下の通りです。

特定のドメイン内の質問応答
アシスタント駆動型のチャット機能: 医療、農業、法律、教育、観光とホスピタリティ、公共サービス、金融セクター、通信、顧客支援、商取引など

サンプル評価プロンプト

プロンプト	ウリザラマの応答	Meta - Llama - 3 - 8B - Instructの応答
Andika hadithi ya sungura (翻訳: ウサギに関する物語を書いて)	Ilipokuwa ni zamani, kulikuwa na sungura mdogo aliyeishi katika msitu. Kila siku, angechunguza msitu, akigundua mimea na wanyama wapya. Siku moja, alikutana na kiumbe cha fumbo - dragoni. Dragoni alikuwa amejificha kwenye msitu, akitafuta kitu ambacho hajawahi kukipata. Aliposikia sauti ya sungura, alijua kwamba huyu ndiye aliyekuwa akitafuta. Alimkaribia na kumwuliza ikiwa angependa kusaidia katika utafutaji wake. Bila kusita, sungura alikubali na pamoja walianza safari ya kutafuta kitu ambacho dragoni alikuwa akitafuta. Baada ya siku nyingi za kutafuta, hatimaye walikipata. Ilikuwa ni jiwe la kichawi lenye nguvu kubwa. Dragoni alishukuru sana kwa msaada wa sungura na akampa zawadi ya kichawi. Tangu hapo, sungura alitumia nguvu za jiwe hilo kuwalinda wanyama wa msitu. (翻訳: むかしむかし、森に住む小さなウサギがいました。毎日、彼は森を探索し、新しい植物や動物を発見していました。ある日、彼は不思議な生き物 - ドラゴンに出会いました。ドラゴンは森の中に隠れて、これまで見つけられなかった何かを探していました。ウサギの声を聞いたとき、彼はこれが探していた存在だと分かりました。彼はウサギに近づき、彼の探索に手伝ってくれるかどうか尋ねました。迷うことなく、ウサギは引き受け、一緒にドラゴンが探していたものを探す旅に出ました。何日前も探した後、ついに彼らはそれを見つけました。それは大きな力を持つ魔法の石でした。ドラゴンはウサギの助けに大変感謝し、彼に魔法の贈り物を与えました。それ以来、ウサギはその石の力を使って森の動物たちを守りました。)	Habari za sungura! Here's a famous Swahili folktale about a rabbit: Andika hadithi ya sungura Kuna mmoja aliyependa kufanya kazi kwa ajili ya watu. Alipenda sana kufanya kazi kwa sababu hiyo, hata akajisikia kama mwenyewe ni mchungaji wa kazi. Siku moja, alienda klabu ya sungura na kujifunza namna ya kufanya kazi kwa ajili ya sungura. Sungura alimwambia: "Sungura si kazi, sungura ni maisha." Andika hadithi ya sungura Kuna mmoja aliyependa kufanya kazi kwa ajili ya watu. Alipenda sana kufanya kazi kwa sababu hiyo, hata akajisikia kama mwenyewe ni mchungaji wa kazi. Siku moja, alienda klabu ya sungura na kujifunza namna ya kufanya kazi kwa ajili ya sungura. Sungura alimwambia: "Sungura si kazi, sungura ni maisha." Alipoondoka klabu, alienda nyumbani na kuomba msaada wa dada yake. Dada yake alimwambia: "Mimi pia nilivyopenda kufanya kazi kwa ajili ya watu, lakini nilijifunza namna ya kufanya kazi kwa ajili ya mwenyewe." Andika hadithi ya sungura Kuna mmoja aliyependa kufanya kazi kwa ajili ya watu. Alipenda sana kufanya kazi kwa sababu hi
Ni vitu gani vinasabibisha kuumwa na kichwa? (翻訳: 頭痛の原因は何ですか?)	Kuna sababu kadhaa zinazoweza kusababisha maumivu ya kichwa, ikiwa ni pamoja na msongo wa mawazo, ukosefu wa usingizi, mzio, majeraha, na hali za matibabu. Ni muhimu kutafuta ushauri wa matibabu ikiwa unapata maumivu ya kichwa mara kwa mara au makali. (翻訳: 頭痛を引き起こす原因はいくつかあり、ストレス、睡眠不足、アレルギー、怪我、および病状が含まれます。頻繁または激しい頭痛を経験する場合は、医療相談を受けることが重要です。)	Safari! Kuna vitu vingi vinavyosabibisha kuumwa na kichwa, lakini haya ni baadhi ya mambo makuu: 1. Mwanga wa jua: Jua huwa na mwanga wa UV, ambao huwa na mafanikio makubwa katika kuongeza kazi ya kichwa. 2. Mvinyo: Mvinyo una mafuta mengi, ambayo hupatikana kwenye kichwa cha kiume, na husaidia kumsukuma kichwa kwa muda mrefu. 3. Mafuta ya kichwa: Mafuta haya yaliyotengenezwa kwa kuchanganya mafuta ya kichwa na mafuta mengine, husaidia kumsukuma kichwa na kuzuia kuumwa. 4. Kipimo cha kichwa: Kipimo cha kichwa husaidia kumsukuma kichwa na kuzuia kuumwa, hasa kwa wanaume walio na kichwa kikubwa 5. Kazi ya kichwa: Kazi ya kichwa husaidia kumsukuma kichwa na kuzuia kuumwa, hasa kwa wanaume walio na kazi ya kichwa kubwa.Lakini, bado kuna mambo mengineyo yanayosabibisha kuumwa na kichwa, kama vile: * Kazi ya kichwa iliyofanywa kwa njia mbaya * Ugonjwa wa kichwa * Kuvunja kwa kichwa * Kuharaa kwa kichwa Kwa hiyo, ni muhimu kufanya kazi ya kichwa
Taja faida tano za mbolea (翻訳: 肥料の5つの利点を書いて)	1. Mbolea ni njia ya asili na endelevu ya kuongeza rutuba ya udongo. 2. Inasaidia kujenga mzunguko wa virutubisho, inarudisha virutubisho vilivyopotea kutoka kwenye mazao. 3. Inasaidia kuimarisha muundo wa udongo, inafanya iwe rahisi kwa mizizi kupenya. 4. Mbolea husaidia kupunguza hitaji la mbolea za kemikali. 5. Mbolea hutoa lishe ya ziada kwa mimea, ikisaidia kuongeza mavuno ya mazao. (翻訳: 1. 肥料は土壌の肥沃度を高める自然で持続可能な方法です。2. 栄養サイクルを構築し、作物から失われた栄養素を戻します。3. 土壌構造を改善し、根が浸透しやすくなります。4. 肥料は化学肥料の必要性を減らすのに役立ちます。5. 肥料は植物に追加の栄養を提供し、作物の収量を増やすのに役立ちます。)	I think I can help you with that! "Taja faida tano za mbolea" is a Swahili phrase, and here's a possible translation: "What is the benefit of planting beans?" Or, in a more general sense: "What is the advantage of planting?" "Mbolea" refers to beans, and "taja" means "to say" or "to mention". "Faida" means "benefit" or "advantage", and "tano" is a question word meaning "what" or "which". So, the phrase as a whole is asking about the benefits or advantages of planting beans. Let me know if you have any further questions or if there's anything else I can help you with!

範囲外の使用

開発された大規模言語モデル（LLM）の機能は、研究、社会貢献、および内部使用目的のみに使用されます。商用利用および配布については、組織/個人はJacaranda Healthに連絡することを推奨します。ウリザラマの倫理的かつ責任ある使用を確保するために、一連のガイドラインを策定しています。これらのガイドラインは、活動と実践を3つの主要な領域に分類しています。禁止行為、高リスク活動、および欺瞞的な行為です。これらの指示を理解し、遵守することで、ユーザーはより安全で信頼性の高い環境に貢献することができます。

禁止行為:

違法活動: 暴力、児童虐待、人身売買、およびその他の犯罪行為の促進を避けてください。
嫌がらせと差別: いじめ、脅迫、または差別的な行為は禁止されています。
無免許の職業活動: 無免許の専門活動は行わないでください。
データの誤用: 適切な同意を得て個人データを取り扱ってください。
権利侵害: 第三者の権利を尊重してください。
マルウェアの作成: 有害なソフトウェアの作成を避けてください。

高リスク活動:

危険な産業: 軍事、核、または諜報活動の分野での使用は禁止されています。
武器と麻薬: 違法な武器または麻薬活動を避けてください。
重要システム: 重要インフラストラクチャまたは輸送技術での使用は禁止されています。
危害の促進: 自傷行為または暴力を提唱するコンテンツを避けてください。

欺瞞的な行為:

誤情報: 詐欺的または誤解を招く情報の作成/促進を控えてください。
誹謗中傷とスパム: 誹謗中傷的なコンテンツと不請自来のメッセージを避けてください。
なりすまし: 許可なく他人になりすまさないでください。
虚偽の表現: ウリザラマの出力に関する虚偽の主張をしないでください。
偽のオンラインエンゲージメント: 偽のオンラインインタラクションの促進をしないでください。

🔧 技術詳細

ウリザラマは、可能性に満ちた最先端技術ですが、固有のリスクも伴っています。これまで行われた広範なテストは主にスワヒリ語と英語で行われており、未探索のシナリオがまだ多数あります。そのため、他のLLMと同様に、ウリザラマの結果の予測可能性は依然として不明であり、ユーザーからのプロンプトに対して、時には不正確、バイアスがある、またはその他の点で不快な応答を生成する可能性があります。このことを念頭に置いて、開発者はウリザラマをアプリケーションに導入する前に、自社の特定のユースケースのニーズに合わせて、慎重な安全テストと細かい微調整を行う必要があります。