Do gargalo matemático ao custo físico
Altere as dimensões e o tamanho do minilote. As contas seguem a mesma implementação do programa C++23: pesos ligados, uma imagem processada por vez e gradiente acumulado sem BLAS.
49,00×redução entre vetores FP32
156,31 KiBpesos, média e buffers de treino
1,26 GFLOPsnúcleo de uma época
Uma imagem antes e depois do gargalo
Composição do estado quente do treino
pesos:
gradiente e momento:
média:
buffers por imagem:
Trabalho algorítmico
| Trecho | Contagem |
|---|---|
| Passagem direta de uma imagem | |
| Passagem direta de um minilote cheio | |
| Núcleo de treino de uma imagem | |
| Núcleo de uma época |
A época inclui o núcleo de treino e as atualizações dos pesos. Centralização, embaralhamento, métricas e entrada e saída permanecem fora desta contagem.