Dendritron Transformer
Dendritron Transformer — это экспериментальная архитектура и концепция в области искусственного интеллекта, которая позиционируется как альтернатива классическому перцептрону (Perceptron) для интеграции непрерывного обучения (continual learning) в модели трансформеров. [1]
Суть концепции Dendritron
- Замена перцептрона: вместо классической модели нейрона Розенблатта (1950-е гг.), Dendritron более детально имитирует биологическую структуру: дендриты, сому и аксон. []
- Внутренняя память: технология позволяет «навешивать» (bolt on) новые параметры поверх уже обученных и замороженных весов (frozen weights) открытых трансформеров. [1]
- Постоянное обучение: модель получает способность дообучаться на лету и сохранять внутреннюю, параметрическую память, не требуя внешних баз данных (RAG) или бесконечного контекста. [, 2]