Inférence au token
Estimez séparément les tokens d'entrée et de sortie, y compris l'historique de conversation et les documents récupérés. Si les tarifs diffèrent, calculez chaque partie à son propre tarif. Multipliez par le nombre de requêtes attendu ; ajoutez toute utilisation d'embedding, de reranking ou d'audio facturée séparément.