Internet se "colapsa"

El caso es que tengo 10mb contratados de los que normalmente llegan 3-4mb, (aunque alguna vez he llegado a tener +10mb reales y seguia con el mismo problema) y normalmente hay 2 ordenadores simultaneos y 4 telefonos moviles, el problema llega cuando en uno de los otros ordenadores se entra en cualquier pagina o programa de tipo steaming sea youtube sopcast(con este logicamente empeora ya que muebe mas flujo) o incluso al descargar/actualizar una aplicacion del movil se me dispara la latencia en mi ordenador haciendo lento el simple echo de entrar a una pagina web mucho menos jugar online o algo por el estilo. La latencia suele colocarse en unos 500ms abriendo simplemente youtube y 2500ms cuando se abre sopcast.
¿Es esto normal que algo como youtube pueda ser capaz de ralentizar una linea entera? Todos los ordenadores estan por wifi y no, no me roban internet ya lo he comprobado.