Opa, cuidado para não confundir velocidade com tempo de resposta (latência). Os servidores fora do Brasil têm uma latência bem maior pois eles estão fisicamente longe de quem acessa aqui no Brasil. Isso influi sim na velocidade de carga da página, pois a cada requisição do browser ele tem q esperar o servidor. Já os servidores brasileiros têm a vantagem de estarem fisicamente próximos, porém é muito mais dificil conseguir um servidor bem configurado, com boa capacidade e que trabalhe com mais seriedade por aqui, o que acaba fazendo com que o seu site tb fique lento
Uma alternativa q apareceu há não muito tempo foram os CDN's, q são servidores q hospedam partes dos seus sites em servidores por todo o mundo. Qd a pessoa acessa o seu site ela recebe os dados do servidor mais próximo fisicamente dela, tornado o acesso muito mais rápido em qq parte do mundo
!
Existe o CloudFire q é gratuito, mas infelizmente ainda não tem servidor no Brasil, mas que segundo eles irão inaugurar em breve algum servidor aqui.
Estou usando este serviço na minha hospedagem q fica nos USA e mesmo sem servidor aqui já consegui baixar bastante o tempo de resposta!
Em suma: os servidores brasileiros têm uma latencia menor mas são mais "problemáticos", principalmente se o site exigir mais do servidor; os servidores gringos têm a latência maior mas são mais rápidos e potentes...
No final das contas acho q sai uma coisa pela outra, mas se eu fosse vc pegava um bom servidor gringo, usava um CDN e ficava feliz da vida!