Довольно простая реализация, ничего уникального в плане этого чата nvidia не сделала, такой чат может собрать любой человек по гайду из ютуба (llamaindex RAG chat), весь исходный код открыт, под капотом llamaindex, две открытые модели mistal 7b и llama2 13b (4b квантованные, иначе работало бы только на 3090 и 4090), фронт на gradio, на котором тот же SD Automatic1111 или text-generation web ui работает, установщик ставит miniconda, куда ставит все зависимости, кидает модель в папку и готово.