La velocidad de respuesta de servidor definida en herramientas como Pagespeed, Pingdom o Gtmetrix hacen referencia al tiempo desde que una conexión se establece hasta que se obtiene el primer dato relativo a dicha web.
No se trata del tiempo de respuesta del servidor como tal sino de la propia web ya que apps como Magento, Wordpress, Prestashop, etc... no envían información al usuario hasta que completa la ejecución de todos los procesos, dependencias, plugins hasta que llega a la representación gráfica que seria el propio theme.
La latencia real en cambio puede ser verificada realizando un ping hacia el dominio, la respuesta es de milisegundos (suele rondar de 50 a 80ms aunque no sería significativa hasta los 400ms) y esta sería la velocidad de respuesta real del servidor.