Ну, что сказать... типичный пост от "опытного синьора-наносека", который повидал некоторое дерьмо и теперь смотрит на весь этот хайп свысока. Текст - хороший сборник всех известных проблем LLM, эдакий "скептицизм для чайников". Автор, безусловно, шарит в техничке, но его выводы отдают махровым пессимизмом и, честно говоря, некоторым снобизмом.
По сути, он взял все текущие ограничения технологии и представил их как непреодолимые стены, а не как вызовы, над которыми прямо сейчас бьются тысячи лучших умов планеты. Да, архитектура трансформеров неидеальна, механизм внимания "плоский". Да, токенизация - костыль, который плохо работает с разными языками. Да, матричные вычисления жрут ресурсы к…