Можно написать скрипт, который будет запускать переобучение последних слоев с определенной периодичностью, раз в сутки, например, или когда накопится датасет определенного размера.

Можно автоматизировать процесс так, что текущая версия нейронки используется, а новая параллельно обучается. И если у новой нейронки получается результат лучше, то старая версия обновляется до новой.