"Steam Spy сканирует 1,6 миллиона случайных профилей" - это количество в день? Получается с 16 условных парсеров это происходит, т.к. в день на один Steam WebAPI AuthKey разрешено делать 100 тысяч запросов. Как Valve реагирует на конкретно такое использование? Или они для одного ключа парсера увеличили лимит до 1,6 млн? Но тогда скорость бы просела и за описанное время вряд ли удалось бы собрать данные с юзеров. Параллельность сбора данных тут категорически необходима.
Про IP-адреса возможно сюда же вопрос, т.к. из текста не до конца понятно - о запросах к Steam WebAPI или, все-таки, к SteamSpy API идёт речь. Если речь про Steam WebAPI , то при условии 6 адресов (на каждый ключ - один IP) получается суточное кол-во запросов 600 тысяч (даже если учесть, что юзеры уже загружены заранее в бд и нужно создать/обновить данные о их играх через GetOwnedGames, а в нем, на сколько мне известно, нельзя объединять юзеров). Хотя 10 млн юзеров прочекать реально за день, т.к. GetPlayerSummaries позволяет в одном запросе запрашивать до 100 юзер ид.
Что-то у меня "экономика" не бьется. Если не трудно, хотелось бы пояснения по цифрам и внутреннему "капоту" SteamSpy.
День добрый, насчёт того, с какой периодичностью Steam Spy сканирует 1,6 миллиона случайных профилей, Сергей в выступлении ничего не говорит. А вот API там действительно Steam WebAPI. Больше про цифры и то, что «под капотом» Steam Spy, в выступлении не говорится — тут нам к тексту добавить, увы, нечего.
"Steam Spy сканирует 1,6 миллиона случайных профилей" - это количество в день? Получается с 16 условных парсеров это происходит, т.к. в день на один Steam WebAPI AuthKey разрешено делать 100 тысяч запросов. Как Valve реагирует на конкретно такое использование? Или они для одного ключа парсера увеличили лимит до 1,6 млн? Но тогда скорость бы просела и за описанное время вряд ли удалось бы собрать данные с юзеров. Параллельность сбора данных тут категорически необходима.
Про IP-адреса возможно сюда же вопрос, т.к. из текста не до конца понятно - о запросах к Steam WebAPI или, все-таки, к SteamSpy API идёт речь. Если речь про Steam WebAPI , то при условии 6 адресов (на каждый ключ - один IP) получается суточное кол-во запросов 600 тысяч (даже если учесть, что юзеры уже загружены заранее в бд и нужно создать/обновить данные о их играх через GetOwnedGames, а в нем, на сколько мне известно, нельзя объединять юзеров). Хотя 10 млн юзеров прочекать реально за день, т.к. GetPlayerSummaries позволяет в одном запросе запрашивать до 100 юзер ид.
Что-то у меня "экономика" не бьется. Если не трудно, хотелось бы пояснения по цифрам и внутреннему "капоту" SteamSpy.
День добрый, насчёт того, с какой периодичностью Steam Spy сканирует 1,6 миллиона случайных профилей, Сергей в выступлении ничего не говорит. А вот API там действительно Steam WebAPI.
Больше про цифры и то, что «под капотом» Steam Spy, в выступлении не говорится — тут нам к тексту добавить, увы, нечего.
крайне полезный сервис. иногда, показывает откровенно странное, но, тем не менее.
спасибо за материал, было интересно