вообщем, если кому будет полезно, поскольку в Steam это пока-что сломалось, то самым верным решением будет скачать иконку с файла SteamDB для нужной игры, там она уже в нужном формате и нужным именем. скачать и поместить ее в папку Стима, в папку steam/games, например "C:\Program Files (x86)\Steam\steam\games". после этого можно создавать ярлыки с Библиотеки самого Стима в опциях игры, все будет работать.
иконку на SteamDB нужно искать для каждой игры снизу, в вкладке App info, под названием clienticon. просто кликнуть на ссылку справа, оно откроет иконку, дальше по ней правой кнопкой, Сохранить. Вот пример для Cyberpunk 2077: