Не ты здесь виноват. У меня со своим 100мб, бывает подобная проблема. А все из-за того что провайдер не может разгрузить линию, или попросту какая-то линия в ремонте. Из-за этого большая нагрузка ближе к вечеру, и собственно отсюда и дропы с пингом) По этому решаю эту проблему напрямую, с провайдером и главным админом. 
Вообщем, когда есть подобная проблема, звони провайдеру, пускай латают дыры)