← Back to Dashboard
01
Installazione di Ollama
Ollama è un tool open-source che permette di eseguire Large Language Models (LLM) in locale. Supporta modelli come Llama 3, Mistral, Gemma e Phi.
Linux / Ubuntu (Consigliato per DevOps):
curl -fsSL https://ollama.com/install.sh | sh
macOS / Windows:
Scarica l'installer ufficiale dal sito:
⚠️ Nota Hardware: Per prestazioni ottimali, assicurati di avere almeno 16GB di RAM e, se possibile, una GPU dedicata (NVIDIA CUDA o Apple Silicon) per l'inferenza.
02
Utilizzo Base e Chat
Una volta installato, il server Ollama gira in background. Puoi scaricare ed eseguire i modelli direttamente da CLI.
Scaricare ed eseguire un modello (es. Llama 3):
ollama run llama3
Altri comandi utili:
ollama list
ollama show llama3
ollama rm llama3
03
Creare Modelli Personalizzati (Modelfile)
Puoi creare i tuoi modelli personalizzati definendo System Prompt, parametri di temperatura e modelli base tramite un Modelfile. Perfetto per creare assistenti specifici per il tuo workflow DevOps/Security.
1. Crea un file chiamato Modelfile:
FROM llama3
PARAMETER temperature 0.7
PARAMETER num_ctx 4096
SYSTEM """Sei un Senior DevOps Engineer e Cybersecurity Specialist. Rispondi in modo tecnico, conciso e fornisci sempre comandi bash o snippet di codice quando richiesto."""
2. Compila il modello personalizzato:
ollama create devops-expert -f Modelfile
3. Esegui il tuo modello custom:
ollama run devops-expert
04
Integrazione con Python (FastAPI / Scripting)
Ollama espone una API REST locale (default: http://localhost:11434). Puoi integrarla facilmente nei tuoi script Python o backend FastAPI per automatizzare task.
Installazione della libreria ufficiale:
pip install ollama
Esempio di script Python:
import ollama
def analyze_log(log_content):
response = ollama.chat(model='devops-expert', messages=[
{'role': 'user', 'content': f"Analizza questo log e trova anomalie: {log_content}"},
])
return response['message']['content']
print(analyze_log("Failed password for root from 192.168.1.50..."))
💡 Tip DevOps: Puoi usare Ollama come backend per creare una Chatbot AI per il tuo CV (vedi Roadmap), mantenendo i dati dei visitatori al 100% privati e GDPR compliant!
05
Importare Modelli Custom da HuggingFace (GGUF)
Se vuoi usare modelli non presenti nel registry ufficiale di Ollama, puoi scaricare i file .GGUF da HuggingFace e importarli manualmente.
Procedura:
- Scarica il file
.gguf da HuggingFace.
- Crea un
Modelfile che punti al file locale:
FROM ./Mistral-7B-Instruct-v0.2.Q4_K_M.gguf
PARAMETER temperature 0.8
- Compila ed esegui come mostrato nei passaggi precedenti.