Praveen Neppalli, CTO da Uber, soltou um dado que quebra a lógica: do começo do ano pra cá eles mais que quadruplicaram o número de gente usando IA de ponta, milhares de engenheiros por dia, e mesmo assim o custo por token caiu. O esperado era o custo explodir junto com a adoção. Fizeram o inverso.
O segredo foi parar de tratar gasto de IA como problema de orçamento e passar a tratar como problema de engenharia. Sem racionar acesso. Eles mexeram em 4 alavancas: subir o hit rate do prompt cache, ajustar os defaults (modelo, contexto, workflow) pra entregar o mesmo com menos token, dar visibilidade de uso e custo em tempo real pra cada engenheiro, e testar modelos abertos pra usar o melhor em cada caso.
A leitura que fica: a era do “tokenmaxxing”, gastar token à vontade achando que consumo é valor, está acabando. Dar acesso à IA virou o básico. O diferencial passa a ser a engenharia de eficiência por trás de cada token. Manda esse post pra quem decide o orçamento de IA no seu time. 📤
...
Suggested Credits
Tags, Events, and Projects