Mistral 7B V0.1 Flashback V2
Mistral-7B-v0.1をベースにした事前学習継続モデルで、スウェーデンのフォーラムFlashbackの40GBテキストデータを使用して微調整され、多言語生成をサポートします。
ダウンロード数 98
リリース時間 : 12/4/2023
モデル概要
これは会話型テキスト生成モデルで、北欧言語(スウェーデン語、ノルウェー語、デンマーク語)と英語のテキスト生成能力に特化しており、フォーラムスタイルの対話シミュレーションやクリエイティブライティングに適しています。
モデル特徴
北欧言語最適化
特にスウェーデン語などの北欧言語に最適化されており、フォーラムスタイルの対話テキストの処理に適しています
対話の一貫性
文脈に一貫性のあるマルチターン対話を生成でき、実際のフォーラムディスカッションパターンを模倣します
引用返信生成
引用返信付きのフォーラムスタイル対話構造の生成をサポートします
モデル能力
多言語テキスト生成
対話シミュレーション
クリエイティブライティング
フォーラムスタイル返信生成
使用事例
コンテンツ生成
フォーラム対話シミュレーション
実際のフォーラムディスカッションを模倣した対話コンテンツを生成
タイトル、ユーザー返信、引用構造を含む完全なディスカッションスレッドを生成可能
クリエイティブライティング支援
北欧言語のクリエイティブライティングを支援
北欧言語の特色あるクリエイティブテキストを生成
教育研究
言語学習ツール
スウェーデン語などの北欧言語学習の補助ツールとして
🚀 🐈⬛ Mistral-7B-v0.1-flashback-v2
Mistral-7B-v0.1-flashback-v2は、ベースのMistral-7B-v0.1モデルの事前学習プロセスを継続したものです。これは、スウェーデンのウェブサイトhttps://www.flashback.org/ から取得した2,251,233件のフォーラムスレッド(約40GBのテキスト)を利用して、1エポックの完全なファインチューニングを行ったものです。
🚀 クイックスタート
モデルの基本情報
Property | Details |
---|---|
Model Type | Mistral-7B-v0.1-flashback-v2は、ベースのMistral-7B-v0.1モデルの事前学習を継続したモデルです。 |
Training Data | スウェーデンのウェブサイトhttps://www.flashback.org/ から取得した2,251,233件のフォーラムスレッド(約40GBのテキスト)を使用しています。 |
モデルの使用方法
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
model_name = "timpal0l/Mistral-7B-v0.1-flashback-v2"
device = "cuda:0" if torch.cuda.is_available() else "cpu"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)
model.eval()
model.to(device)
prompt = "Idag är det den bästa"
input_ids = tokenizer(prompt, return_tensors="pt")["input_ids"].to(device)
generated_token_ids = model.generate(
inputs=input_ids,
max_new_tokens=256,
do_sample=True,
temperature=0.8,
top_p=1,
)[0]
generated_text = tokenizer.decode(generated_token_ids)
generated_text
💻 使用例
基本的な使用法
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
model_name = "timpal0l/Mistral-7B-v0.1-flashback-v2"
device = "cuda:0" if torch.cuda.is_available() else "cpu"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)
model.eval()
model.to(device)
prompt = "Idag är det den bästa"
input_ids = tokenizer(prompt, return_tensors="pt")["input_ids"].to(device)
generated_token_ids = model.generate(
inputs=input_ids,
max_new_tokens=256,
do_sample=True,
temperature=0.8,
top_p=1,
)[0]
generated_text = tokenizer.decode(generated_token_ids)
generated_text
出力結果の例
<s> Idag är det den bästa dagen i hela veckan, för nu tar det slut!\n\n>! Gnällfesten!\n\nJag sitter här, oerhört förvirrad, och försöker förstå varför vi ens måste fortsätta att existera efter döden. Jag menar, jag förstår ju egentligen att det aldrig kan ta slut, eller inte "ta slut" i den bemärkelsen att materian försvinner, men det är inte det jag pratar om.\n\nDöden, det faktum att man dör och aldrig kan uppleva livet igen. Det som är liv och ger livet en mening, det försvinner i döden. Och sen börjas det om, om och om igen. Varför behöver vi så många liv? Vi är ju inte ens medvetna av att vi någonsin har levt, så varför ska vi komma hit och bli medvetna hela tiden?\n\nDet här är en sådan fråga som jag aldrig kan få
📚 ドキュメント
データ形式
事前学習で使用されるデータ形式を模倣するために、以下の構造を持っています。
# Thread_Title
username_thread_creator:
Hello, this is my thread...
username_user_1:
This is a response to the thread, without qouting anything.
username_user_2:
> username_user_1: This is a response to the thread, without qouting anything.
I am now quoting username_user_1...
ランダムな学習サンプル
# Tips om aktiviter och sevärdheter i Stockholm för någon med funktionsnedsättning
Roozbeh:
Hej!
Jag jobbar som assistent åt en kille på ett stödboende.
Nästa vecka åker han, jag och en kollega till Stockholm och han är superpeppad på att se sig omkring.
Har ni några guld tips?
Får gärna ge förslag både dag och kvällstid om ni kommer på något.
Vi har redan tänkt på att se slottet.
Och gamla staden, finns där något kanske?
Bra cafen/restauranger som inte är allt för dyra.
Några ställen som man bara måste se eller göra i Stockholm?
Han är inte rullstolsbunden ska nämnas, är ung och i ganska bra kondition fysiskt.
Alla tips är välkomna tack!
Annéa:
Beror lite på vad man gillar. Om ni ändå är vi Slottet så har ni ju dom stora turistgatorna i Gamla Stan runt hörnet precis, dock inget ställe man vill gå på om man tycker det är jobbigt med folk och att trängas och ingenstans där man äter särskilt bra eller billigt.
Laust:
Åka upp på globen funkar med rullstol
Thomaz:
Välkomna! 🙂
Vad har han för intressen?
Är ni ändå på slottet kan jag rekommendera livrustkammaren, där kläder och attiraljer såsom vagnar (och även uppstoppade hästar) från svenska kungligheter är utställda.
Anne-Jorunn:
Gröna Lund och skansen är guld, om hen klarar av att åka karusell så går ni också förbi alla köer om du är stödperson.
Abba museumet, Vasamuseumet, militärhistoriska museet, tekniska museet, Junibacken. Finns mycket bra.
Annars kan det vara skoj att gå runt på Mall of Scandinavia, skönt att vara inne med toaletter inom räckhåll.
Muscab:
> Roozbeh: Hej!
>
> Jag jobbar som assistent åt en kille på ett stödboende.
> Nästa vecka åker han, jag och en kollega till Stockholm och han är superpeppad på att se sig omkring.
> Har ni några guld tips?
> Får gärna ge förslag både dag och kvällstid om ni kommer på något.
> Vi har redan tänkt på att se slottet.
> Och gamla staden, finns där något kanske?
> Bra cafen/restauranger som inte är allt för dyra.
> Några ställen som man bara måste se eller göra i Stockholm?
> Han är inte rullstolsbunden ska nämnas, är ung och i ganska bra kondition fysiskt.
> Alla tips är välkomna tack!
Jag tror de mesta platser är ganska ovänliga för rullstol. Backar, grusvägar, kullersten, trånga dörrar, trappor. Finns det någon restaurang/café som är billig och rullstolsvänlig? Vet inte. Köp ett paket glassar på ica istället.
Något man måste göra i Stockholm? Det finns inte mycket att se. Turister brukade gå runt i gamla stan och titta på tunnelbanestationer.
Annéa:
> Muscab: Jag tror de mesta platser är ganska ovänliga för rullstol. Backar, grusvägar, kullersten, trånga dörrar, trappor. Finns det någon restaurang/café som är billig och rullstolsvänlig? Vet inte. Köp ett paket glassar på ica istället.
>
> Något man måste göra i Stockholm? Det finns inte mycket att se. Turister brukade gå runt i gamla stan och titta på tunnelbanestationer.
Han sitter ju INTE i rullstol...
Tharsika:
Vad har han för problematik? Vad kan störa/vara svårt för honom ? Rullstol ? Kramp? Utåtagerande ?
Muscab:
> Annéa: Han sitter ju INTE i rullstol...
Läste fel. 🤦
Boine:
Armémuseum
Historiska museet
Åka djurgårdsfärjan alt. ”Skärgårdstur” med SL
Utsikt på Södermalm + promenaden dit. Mariaberget & Monteliusvägen
Gamla stan - Mårten Trotzig gränd samt kanonkulorna i husväggen några meter från Stortorget
Målningar i tunnelbanan
Spela äventyrsgolf inomhus
Se guldbron - Slussen
Utsikt Katarinahissen - Slussen, man går in i porten till Gondolen (nog nerlagd) tar hissen längst upp och går en våning upp annars får man gå dit bakvägen onödigt långt.
Gå hela Drottninggatan
Slottet ev tajma in vaktavlösning
Kolla om det finns något personen har intresse av/om, finns en hel gratis museum
Roozbeh:
Vilka bra tips! Tack allihopa vad fint av er att bidra! Så uppskattat verkligen 🙂
Nu är vi åter hemma igen efter resan till Stockholm.
Resan gick jättebra, vi planerade noga och gjorde det mesta av tid med hänsyn till funktionsnedsättningen. Vi gick såklart efter vad han själv önskade göra och gav förslag på vad Stockholm erbjuder. Då vi bara var i Stockholm under ca 24 timmar måste jag säga att vi fick gjort mycket mer än vi väntade oss. Vi hade ingen bil. Istället köpte vi ett 24 tim kort för kollektivtrafiken och med hjälp av SL appen och google maps navigerade jag runt oss i staden.
Hotellet vi bodde på låg nära Centralstationen.
Detta gjorde vi:
Gick runt hela Gamla Stan. Åt på restaurang där samt i Vasaplan och även fikade på diverse caféer i Gamla Stan. Vi såg det Kungliga slottet både inuti och utanpå, var uppskattat! Han tyckte det var så häftigt. Strosade runt i alla gränder, torg och gator i Gamla Stan, gick in i trevliga små butiker och tog fina foton! Vi tittade på alla båtar i hamnen. Parlamentet. Stadshuset. Vi gick in på diverse olika ställen vi gick förbi som han impulsivt kände dragning till. Typ karaokebar, kulturhuset, pubbar etc. Allt han kände för gjorde vi. Det var hans resa 100 %.
Åkte med färja till Djurgården och besökte ABBA museet där han fick lyssna på sånger, se rekvisita, sjunga och t.om åka helikopter i VR.
Vi shoppade också såklart då Stockholm har så många butiker!(Hela Drottninggatan och ställen på/nära Vasaplan)
Under resan interagerade han med en massa Stockholmare. Sade till flertalet tjejer att han älskade dom haha vilket charmör! Vi gick förbi en högvakt vid slottet som han hälsade på. Det var en hon, och vakten rörde inte en min men följde honom med blicken. Givetvis fick vi säga det att dom inte pratar med någon då det ingår i jobbet etc.
Han blev bemött med respekt och ömhet av de flesta ska sägas. Han var glad över att ha fått prata med så många människor. Vi stannade ofta då han ville fråga t.ex poliser eller andra arbetare om saker, alla var gulliga och vänliga mot honom.
Vi åkte under resan buss, tunnelbana(också en önskan att få göra) och färjor till olika färjterminaler för att få se Stockholm från vattnet.
Såg också Sergels Torg på kvällen eller "Plattan" som jag tror den också kallas. En pelare var vackert upplyst i blått ljus där och han berättade exalterat om hur många filmer han sett som har plattan som scenplats etc. Kvällen bjöd på solnedgången från hotellets tak. Åt en fantastisk frukostbuffé på morgonen med flera omgångar god mat! Härligt att han njöt.
Då han faktiskt har en fysisk och kognitiv nedsättning är vi så glada att han orkade så mycket! Bäst av allt sa han sig vara väldigt nöjd med resan. Vi ska nu planera fler resor till Stockholm i framtiden. Då gör vi fler saker, sånt vi inte hann med den här gången. Var lite begränsat med tid(24 timmar) samt behövde vi tänka på att energi skulle räcka till utan att kroppen skulle triggas till att hans nedsättnings symptom blossade upp. Behövs ju givetvis pauser med jämna mellanrum då.
Tack och lov för apparna som jag kunde leda oss efter. Att åka kollektivt hade varit svårt annars och jag kunde se efter kartan var våra besöksmål låg samt vilka vägar som kunde spara oss onödig tid.
Tack ska ni ha för tipsen, igen. Tack till Stockholm för att ni tog emot oss med respekt han var så nöjd med resan.
Hej så länge, vi kommer åter i framtiden! 😁
📄 ライセンス
このプロジェクトはMITライセンスの下で公開されています。
📊 評価結果
詳細な評価結果はこちらで確認できます。
Metric | Value |
---|---|
Avg. | 57.53 |
AI2 Reasoning Challenge (25-Shot) | 57.17 |
HellaSwag (10-Shot) | 80.74 |
MMLU (5-Shot) | 59.98 |
TruthfulQA (0-shot) | 40.66 |
Winogrande (5-shot) | 77.19 |
GSM8k (5-shot) | 29.42 |
Phi 2 GGUF
その他
Phi-2はマイクロソフトが開発した小型ながら強力な言語モデルで、27億のパラメータを持ち、効率的な推論と高品質なテキスト生成に特化しています。
大規模言語モデル 複数言語対応
P
TheBloke
41.5M
205
Roberta Large
MIT
マスク言語モデリングの目標で事前学習された大型英語言語モデルで、改良されたBERTの学習方法を採用しています。
大規模言語モデル 英語
R
FacebookAI
19.4M
212
Distilbert Base Uncased
Apache-2.0
DistilBERTはBERT基礎モデルの蒸留バージョンで、同等の性能を維持しながら、より軽量で高効率です。シーケンス分類、タグ分類などの自然言語処理タスクに適しています。
大規模言語モデル 英語
D
distilbert
11.1M
669
Llama 3.1 8B Instruct GGUF
Meta Llama 3.1 8B Instructは多言語大規模言語モデルで、多言語対話ユースケースに最適化されており、一般的な業界ベンチマークで優れた性能を発揮します。
大規模言語モデル 英語
L
modularai
9.7M
4
Xlm Roberta Base
MIT
XLM - RoBERTaは、100言語の2.5TBのフィルタリングされたCommonCrawlデータを使って事前学習された多言語モデルで、マスク言語モデリングの目標で学習されています。
大規模言語モデル 複数言語対応
X
FacebookAI
9.6M
664
Roberta Base
MIT
Transformerアーキテクチャに基づく英語の事前学習モデルで、マスク言語モデリングの目標を通じて大量のテキストでトレーニングされ、テキスト特徴抽出と下流タスクの微調整をサポートします。
大規模言語モデル 英語
R
FacebookAI
9.3M
488
Opt 125m
その他
OPTはMeta AIが公開したオープンプリトレーニングトランスフォーマー言語モデルスイートで、パラメータ数は1.25億から1750億まであり、GPT-3シリーズの性能に対抗することを目指しつつ、大規模言語モデルのオープンな研究を促進するものです。
大規模言語モデル 英語
O
facebook
6.3M
198
1
transformersライブラリに基づく事前学習モデルで、様々なNLPタスクに適用可能
大規模言語モデル
Transformers

1
unslothai
6.2M
1
Llama 3.1 8B Instruct
Llama 3.1はMetaが発表した多言語大規模言語モデルシリーズで、8B、70B、405Bのパラメータ規模を持ち、8種類の言語とコード生成をサポートし、多言語対話シーンを最適化しています。
大規模言語モデル
Transformers 複数言語対応

L
meta-llama
5.7M
3,898
T5 Base
Apache-2.0
T5ベーシック版はGoogleによって開発されたテキスト-to-テキスト変換Transformerモデルで、パラメータ規模は2.2億で、多言語NLPタスクをサポートしています。
大規模言語モデル 複数言語対応
T
google-t5
5.4M
702
おすすめAIモデル
Llama 3 Typhoon V1.5x 8b Instruct
タイ語専用に設計された80億パラメータの命令モデルで、GPT-3.5-turboに匹敵する性能を持ち、アプリケーションシナリオ、検索拡張生成、制限付き生成、推論タスクを最適化
大規模言語モデル
Transformers 複数言語対応

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-TinyはSODAデータセットでトレーニングされた超小型対話モデルで、エッジデバイス推論向けに設計されており、体積はCosmo-3Bモデルの約2%です。
対話システム
Transformers 英語

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
RoBERTaアーキテクチャに基づく中国語抽出型QAモデルで、与えられたテキストから回答を抽出するタスクに適しています。
質問応答システム 中国語
R
uer
2,694
98