La respuesta rápida sería no, no obstante requiere de matización.
Aunque Google es lo suficientemente "inteligente" para diferenciar a día de hoy el público objetivo y orientación de mercado al que va dirigido un proyecto, con solo analizar el contenido, sabe que siempre puede haber errores, por ello permite definir la orientación geográfica a la que un dominio va dirigido desde la herramienta Search Console.
Tras la democratización del acceso a proveedores de hosting y computación, unido a la globalización, Google es consciente de que un proyecto orientado a España, puede estar alojado en servidores de AWS o de su propio Google Cloud, en centros de datos de USA, la opción de orientación geográfica o segmentación internacional, le permite estar seguro de cuál sería el público final del proyecto sin importar donde se aloje el mismo.
La opción de "segmentación internacional" está actualmente en Search Console, sección "herramientas e informes antiguos", esto se debe a que la fiabilidad de Google para saber la orientación de un proyecto por otras vías ha crecido con el tiempo y es tan alta que la consideran una opción que probablemente pueda desaparecer en el futuro, en cualquier caso siempre es recomendable seleccionar la orientación.
Si se tiene un dominio territorial como los .es (ccTLD), no sería necesario definir dicha segmentación (aunque como siempre, dado que no requiere más que unos clicks, merece la pena hacerlo en todos los casos), ya que automáticamente Google sabe que va orientado al público de España con independencia de la localización del servidor.
En cambio, en caso de usar un dominio genérico tipo .com, .net (gTLD) o similares si sería recomendable hacerlo para que Google identifique correctamente el público objetivo al que va dirigido nuestra web y nos posicione en consecuencia.
Esto mismo comentaba John Mueller (Webmaster Trends Analytics de Google) en 2013:
For search, specifically for geotargeting, the server's location plays a very small role, in many cases it's irrelevant. If you use a ccTLD or a gTLD together with Webmaster Tools, then we'll mainly use the geotargeting from there, regardless of where your server is located. You definitely don't need to host your website in any specific geographic location -- use what works best for you, and give us that information via a ccTLD or Webmaster Tools.
La localización en sí no afecta al SEO, pero si la velocidad de respuesta de la web y centro de datos seleccionado con respecto al público al que se dirige, en nuestro caso el centro de datos que ofrecemos para clientes Españoles tiene unas latencias (gracias a los acuerdos de peering) más bajas que muchos centros de datos dentro del propio país, esto se debe a que la conexión de un usuario no va asociada a la cercanía, podrías tener un centro de datos a 2 km de distancia de tu domicilio, que si su contrato no incluye determinados proveedores de red, la conexión podría salir primero a París para después volver a España con el consecuente incremento de latencia.