вопрос, я никогда не проверял прост если из под venv просто запустить бинарь, разве не будет это меньше ресурсов жрать? понимаю, что отлаживать проще непосредственно в ide, там для этого и брейкпоинты есть и вообще ляпота, но всё же все эти java приколы жрут слишком много
и по поводу оперативки, ты видимо данные для анализа в памяти хранишь, я конечно не предлагаю тебе бд под это организовать, но мб csv или ещё какую херню, куда можно сгружать.
ну это так на будущее, если когда нибудь что-то прям колоссальное возьмёшься анализировать.
Ну а где еще этим данным быть, если не в памяти? Они уже лежат в двух бд, и надо в памяти делать попарные сравнения строк. Я уверен, что задачи разгрузить память не стоит, т.к. один раз прогнал и норм. Вариантов оптимизации много!
сорямба если мои советы второсортный бесполезный кал. я не шарю за твой бэкграунд, чего ты знаешь, чего не знаешь. не пытаюсь показаться - ЕБАТЬ КАКИМ УМНЫМ, просто сталкивался раньше с таким, вдруг поможет, вот и написал.
вопрос, я никогда не проверял прост
если из под venv просто запустить бинарь, разве не будет это меньше ресурсов жрать? понимаю, что отлаживать проще непосредственно в ide, там для этого и брейкпоинты есть и вообще ляпота, но всё же все эти java приколы жрут слишком много
как минимум IDE не будет грузить память ))
Я тож не проверял, но скорее всего нагрузка будет пониже на 1-2Гб
и по поводу оперативки, ты видимо данные для анализа в памяти хранишь, я конечно не предлагаю тебе бд под это организовать, но мб csv или ещё какую херню, куда можно сгружать.
ну это так на будущее, если когда нибудь что-то прям колоссальное возьмёшься анализировать.
Ну а где еще этим данным быть, если не в памяти? Они уже лежат в двух бд, и надо в памяти делать попарные сравнения строк.
Я уверен, что задачи разгрузить память не стоит, т.к. один раз прогнал и норм.
Вариантов оптимизации много!
сорямба если мои советы второсортный бесполезный кал.
я не шарю за твой бэкграунд, чего ты знаешь, чего не знаешь.
не пытаюсь показаться - ЕБАТЬ КАКИМ УМНЫМ, просто сталкивался раньше с таким, вдруг поможет, вот и написал.