Алексей был младшим из трёх братьев, созидателей усадьбы Степановское-Волосово. Средний, Степан, был основателем, в двух браках детей не нажил, старший, Александр, прозванный князем бриллиантовым получил усадьбу в наследство, но будучи масоном, дал клятву безбрачия и законных наследников не имел.