Снижая нагрузку на 32-ядерные процессоры: как Netflix удвоил скорость передачи своих данных — до 400 гигабит в секунду
Самым эффективным решением для онлайн-кинотеатра оказалась сборка на AMD.
Эндрю Галлатин, старший программный инженер Netflix, на конференции EuroBSD 2021 рассказал, как стриминговому сервису удалось в два раза увеличить скорость передачи данных — с 200 Гбит/с до 400 Гбит/с.
Серверы онлайн-кинотеатра работают на 32-ядерных процессорах EPYC 7502P. Вместе с ними используются 256 гигабайт оперативной памяти DDR4-3200, два сетевых адаптера Mellanox ConnectX-6 Dx и 18 накопителей Western Digital WD SN720 — объём каждого SSD составляет 2 терабайта.
Из-за ограничений памяти одна такая конфигурация передавала около 240 Гбит/с. Чтобы повысить скорость, Netflix начал использовать неравномерный доступ к памяти — NUMA-системы — и создавать узлы из четырёх конфигураций. Скорость увеличилась до 280 Гбит/с.
Затем инженеры Netflix решили перенести шифрование с процессоров на адаптеры Mellanox ConnectX-6 Dx. Для этого пришлось поработать с прошивкой карт.
Скорость передачи данных после этого значительно увеличилась: при использовании двух Mellanox ConnectX-6 Dx она стала достигать 380 Гбит/с. Одновременно снизилась нагрузка на процессор — с 60% до 50%.
Netflix решил для сравнения испытать производительность других сборок — на процессорах Intel и ARM.
Скорость на обеих конфигурациях оказалась хуже, чем на процессоре AMD. При использовании Xeon Platinum 8352V данные передавались со скоростью в 230 Гбит/с, так как шифрование не удалось распределить на адаптеры, и оно проходило через процессор. На Altra Q80-30 удалось достичь скорости в 320 Гбит/с.
В 2022 году Netflix планирует вновь удвоить скорость передачи данных — до 800 Гбит/с.
Топ способов по-быстрому срубить лайков на DTF (может новичкам будет полезно):
1) В постах про продажи игр пиши - "хорошим играм хорошие продажи".
2) В постах про продажи студий Майкрософту вставляй довольного Фила.
3) В постах про Близзард пиши "Да закройте уже вы их с концами, чтоб не мучались.
4) В постах про игру выходящую на ПК только в EГС пиши "значит на ПК не выходит".
5) В постах про успехи AMD вставляй вот эту картинку через 0,000001 сек после его публикации.
Главное, обновляйте ленту каждый 8,5 сек и Profit. Вы восхитительны!
А как же «пишу в легендарном треде»?
Отдел маркетинга у Амуде явно лучше чем у интела
Комментарий недоступен
Особенно "радует" что начинается просмотр всегда в шакал режиме и потом автоматически переводится в более менее нормальное разрешение. А битрейт все равно низкий да