@navaneethvb

Thread

Apparently, one way to make LLM inference almost 2x faster is to make the CPU stop talking to the GPU so much. And this is where CUDA graphs come in, but before getting into the details let us actually understand the problem first. An LLM forward pass is not one giant GPU operation. Underneath it,...

@aaravwattal

Thread

As we scale to trillion parameter models and gigawatt-scale training, we don't do interesting work on just one chip anymore. Everything interesting happens across thousands of them, and moving data between those chips has become a fundamental bottleneck of both training and inference. I spent this ...

@jpmachadorocha

Thread

De todas as barbaridades cometidas pelo STF nos últimos anos, nenhum caso é mais escandaloso do que o de Filipe Martins. Primeiro foi preso por supostamente ter feito uma viagem que nunca fez (e que mesmo se tivesse feito, não seria motivo para prisão); Depois provou que não viajou e a própria PGR...

@ggreenwald

Chat

<b>@ggreenwald:</b> Minha nova reportagem sobre o caso de Filipe Martins:👇 <span class="quote-card" data-quote-index="0"></span>...

@JotaVaquerizo

Thread

El Gran Premio de Madrid se anunció con una promesa: no costaría ni un euro público. La Memoria de Viabilidad y Sostenibilidad Económica, dice otra cosa. Y de ella se deduce algo más sque un sobrecoste: un posible caso de ayuda de Estado ilegal. Hilo 🧵 <span class="quote-card" data-quote-index="0"><...