Quando lavoriamo con Azure AI Foundry e iniziamo a usare modelli di linguaggio in scenari reali, ci scontriamo rapidamente con un problema pratico: scegliere sempre il modello giusto. Il Model Router nasce proprio per risolvere questa esigenza, offrendo un livello di astrazione che ci permette di gestire più modelli come se fossero uno solo. L'obiettivo è quello di demandare al router la selezione del modello più adatto in base a parametri come costo, latenza e qualità, evitando decisioni rigide e difficili da mantenere nel tempo.

Il primo passo per sfruttare questo servizio consiste nel creare una nuova distribuzione di tipo Model Router dalla console di Azure AI Foundry, nella stessa sezione dove troviamo già gli altri modelli. Qui impostiamo un nome significativo per la distribuzione e scegliamo il tipo di deployment, ad esempio Global Standard, che consente limiti di throughput più elevati.

Definiamo poi la modalità di instradamento, come Balanced, che cerca un compromesso tra velocità e qualità. Selezioniamo poi la versione del router, che determina la logica interna di routing. Possiamo scegliere se instradare su tutti i modelli distribuiti disponibili oppure selezionare un sottoinsieme degli stessi.

Una volta completata la configurazione, salviamo la distribuzione e utilizziamo l'endpoint del Model Router come se fosse un normale endpoint OpenAI. Se utilizziamo il playground, inoltre, possiamo vedere quale modello è stato utilizzato effettivamente nel router, come visibile nell'immagine.

Il vantaggio principale di questa tecnologia è la flessibilità. Possiamo combinare modelli più economici e veloci con modelli più potenti, ottenendo un buon equilibrio tra prestazioni e costi e adattando il comportamento dell'applicazione ai diversi scenari. Di contro, dobbiamo considerare una minore prevedibilità del modello effettivamente utilizzato per ogni singola chiamata e una fase iniziale di configurazione che richiede attenzione e qualche test in più prima di andare in produzione.