許可協議: mit
數據集:

• mlabonne/FineTome-100k
• efederici/capybara-claude-15k-ita
  語言:
• 意大利語
• 英語
  庫名稱: transformers
  流水線標籤: 文本生成
  基礎模型: microsoft/Phi-3.5-mini-instruct
  標籤:
• trl
• phi3
• spectrum

Phi-3.5-mini-ITA

基於Microsoft/Phi-3.5-mini-instruct微調的版本，優化了意大利語性能。

🔹 小巧但強大的模型，擁有38.2億參數
🔹 支持128k上下文長度

• 💬🇮🇹 在Hugging Face Spaces上與模型聊天
• GGUF量化版本

🏋️‍♂️ 想了解模型是如何訓練的嗎？
查看📖 完整教程文章及配套的💻 筆記本

🏆 評估

意大利語LLM公開排行榜

詳情

Pinocchio意大利語排行榜

詳情

🎮 模型實戰

演示

💬🇮🇹 在Hugging Face Spaces上與模型聊天

使用Transformers生成文本

模型小巧，可在Colab上流暢運行。也可使用量化加載模型。

使用transformers==4.44.2時，需設置trust_remote_code=True以修復Phi3ForCausalLM中的小問題。
詳情參閱此討論。

⚡ 模型兼容Flash Attention 2，可加速推理。啟用需取消下方代碼片段中attn_implementation參數的註釋。

# pip install transformers accelerate  
import torch  
from transformers import pipeline, AutoModelForCausalLM, AutoTokenizer  

model_id="anakin87/Phi-3.5-mini-ITA"  

model = AutoModelForCausalLM.from_pretrained(  
    model_id,   
    device_map="auto",  
    torch_dtype=torch.bfloat16,  
    trust_remote_code=True,  
    # attn_implementation="flash_attention_2",  # 取消註釋以使用Flash Attention 2  
)  
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)  

pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)  

user_input = "你能簡要解釋一下意大利語中未完成時和近過去時的區別及使用場景嗎？"  
messages = [{"role": "user", "content": user_input}]  
outputs = pipe(user_input, max_new_tokens=500, do_sample=True, temperature=0.001)  
print(outputs[0]["generated_text"])  

示例輸出：

當然！未完成時和近過去時是意大利語中兩種表示過去動作的時態，但含義不同。  

未完成時：  
- 用於描述過去持續或重複發生的動作  
- 表示無明確終點的動作或習慣性行為  
- 常用於描述過去的狀態或情境  
- 例："小時候我常在公園玩耍"  

近過去時：  
- 用於描述已完成的過去動作  
- 表示發生在特定時間點的動作  
- 常用於描述有明確持續時間的事件  
- 例："昨天我讀完了那本書"  

簡言之，未完成時描述過去持續/習慣性動作，近過去時描述已完成的特定動作。  

構建AI應用

可用該模型開發各類AI應用。

推薦使用🏗️ Haystack LLM框架進行編排。
（劇透：我是其開源貢獻者😄）

該模型兼容HuggingFaceLocalGenerator和HuggingFaceLocalChatGenerator組件。
也可通過TGI容器部署模型，再使用HuggingFaceAPIGenerator及相關聊天生成器。

參考案例：

• 本地開源模型RAG
• 網站摘要生成
• 多語言RAG

🔧 訓練細節

本模型使用HF TRL微調。
在FineTome-100k和Capybara-Claude-15k-ita數據集上進行了2輪指令微調。🙏 感謝數據集作者。

採用新型參數高效學習技術：Spectrum。
其核心是僅訓練高信噪比(SNR)的模型層，❄️ 凍結其餘部分。

單塊A6000 GPU訓練耗時約14小時。

完整訓練細節請參閱📖 教程文章及💻 訓練筆記本。