Ollama ha pubblicato la release candidate v0.40.5-rc0, presentata su GitHub con il titolo v0.40.5 e il badge Pre-release. Le note del 14 ottobre elencano interventi sul backend MLX, sulla compatibilità con la cronologia delle conversazioni Responses, sulla documentazione e sui messaggi dell’applicazione. Non si tratta quindi di una release stabile già dichiarata pronta per ogni ambiente: il suffisso rc0 identifica una versione da valutare prima dell’adozione. Due pull request collegate chiariscono in particolare il significato delle modifiche tecniche.
Kernel CUDA e risultati circoscritti
La pull request 18657 porta su CUDA alcuni kernel personalizzati che disponevano soltanto di un’implementazione Metal. Fra questi figurano mamba2_scan, depthwise_conv_silu e gated_delta, insieme alle relative varianti. In precedenza, sul percorso CUDA queste operazioni ricadevano sulle operazioni del grafo. Il cambiamento riguarda dunque l’implementazione di specifici calcoli, non una promessa di accelerazione uniforme per qualsiasi modello o dispositivo.
L’autore riporta test eseguiti su Linux con una RTX 6000 Ada. Per nemotron3:33b in formato nvfp4, il throughput dei prompt passa da 323,9 a 679 token al secondo, mentre la generazione passa da 112,3 a 149,6. Per nemotron-3.5-lightning:30b-a3b, sempre nvfp4, i valori riportati sono 313,3 contro 695,6 per i prompt e 113,2 contro 129,7 per la generazione. Sono misure del contributore su quella configurazione, non benchmark indipendenti né risultati garantiti su altri sistemi.
La descrizione segnala anche test di parità su host Metal e CUDA. Differenze nell’ordine delle riduzioni possono produrre piccoli scostamenti numerici nei risultati bf16: la verifica tiene conto di questa caratteristica, anziché richiedere un’identità assoluta fra percorsi di calcolo diversi.
Conversazioni Responses e strumenti personalizzati
La pull request 18911 affronta un errore nella prosecuzione delle conversazioni Responses. Una cronologia contenente custom_tool_call oppure custom_tool_call_output poteva essere rifiutata con HTTP 400 prima dell’inferenza. La modifica accetta questi elementi attraverso il percorso delle chiamate a funzione già esistente, preservando identificativi delle chiamate, namespace e testo libero dell’input.
Il parser condiviso permette inoltre ai percorsi di compattazione di conservare e riprodurre le coppie chiamata-risultato. Il perimetro resta preciso: l’intervento copre gli elementi in ingresso della cronologia, non le dichiarazioni degli strumenti personalizzati, i formati grammaticali o la generazione di nuovi eventi custom-tool. Presentarlo come supporto completo a ogni funzione dell’interfaccia sarebbe quindi fuorviante.
Altre modifiche e valutazione operativa
Le note includono raccomandazioni sui modelli e uniformazione del linguaggio nella documentazione, messaggi più chiari sugli errori di pagamento cloud nell’app e un aggiornamento della versione MLX. Queste voci non dimostrano, da sole, cambiamenti dei prezzi o nuove garanzie di compatibilità.
Per una valutazione operativa conviene provare la release candidate in un ambiente separato, usando modelli e conversazioni rappresentativi dei propri flussi. Il takeaway è misurare separatamente prestazioni CUDA e continuità delle chiamate agli strumenti: un miglioramento nel primo ambito non certifica automaticamente il secondo. Prima di un aggiornamento generalizzato, confrontare i risultati con la versione già utilizzata e mantenere una procedura di ritorno verificata.
Fonte: Ollama v0.40.5-rc0. Approfondimenti: kernel CUDA; cronologia Responses.
Lascia un commento