Архітектура вибирає необхідні блоки моделі для конкретного запиту та залишає інші бездіяльними. 

NVIDIA випустила Nemotron 3.5 Super VL, мультимодальну модель штучного інтелекту зі 120 мільярдами параметрів, здатну обробляти текст, зображення, документи та відео, а також взаємодіяти із зовнішніми інструментами. Компанія стверджує, що для певних завдань нова модель обробляє запити до п'яти разів швидше, ніж інші моделі з відкритим кодом порівнянного класу, хоча ступінь цієї переваги залежить від конкретного сценарію та апаратного забезпечення.


Nemotron 3.5 Super VL розроблений, перш за все, для агентів зі штучним інтелектом, яким потрібно робити більше, ніж просто відповідати на запитання. Модель може шукати інформацію, аналізувати документи та таблиці, аналізувати відео, писати та перевіряти код, а також використовувати підключені інструменти. Розробники можуть налаштовувати Nemotron, використовуючи власні дані, та розгортати його у власній інфраструктурі.


Незважаючи на значний розмір у 120 мільярдів параметрів, модель використовує лише близько 12 мільярдів параметрів для обробки кожного токена. Такий підхід відомий як «суміш експертів»: велика нейронна мережа містить кілька спеціалізованих блоків, і система активує лише відповідні компоненти для будь-якого заданого сегмента тексту. Оскільки комп'ютер виконує менше обчислень, велика модель може генерувати відповіді швидше, вимагаючи при цьому менше ресурсів.


NVIDIA поєднала цей підхід з архітектурами Transformer та Mamba. Розробники також навчили модель заздалегідь прогнозувати кілька майбутніх токенів, що прискорює генерацію. У технічних тестах один прискорювач GB200 досяг пропускної здатності до 4856 вихідних токенів за секунду, забезпечуючи при цьому отримання кожним користувачем щонайменше 50 токенів за секунду. Версія з 4-бітним форматом NVFP4 продемонструвала у 2,43 рази вищу пропускну здатність, ніж варіант BF16. 

The claimed "five times faster" performance also requires a caveat. NVIDIA achieved this result by comparing throughput on a single GPU across a specific set of tasks. In another test, involving 10,000 programming tasks, Nemotron 3.5 Super VL completed the work approximately four times faster than its competitors. Independent testing under different configurations might yield different results.


Along with Super VL, the company has expanded the family with two compact models, Nemotron 3.5 Bolt, designed for local execution. The Bolt 74B-A9B occupies 24 GB of memory—thanks to 2-bit quantization—and can run on compatible computers without requiring all data to be sent to the cloud. The even more compact Bolt E4B requires about 4 GB of memory and is geared toward conversational assistants and resource-constrained devices.


NVIDIA has already made Nemotron 3.5 Super VL and Bolt 74B-A9B available, with the Bolt E4B scheduled for release on October 23. For Super VL, the company is providing model weights (in BF16 and NVFP4 formats), datasets, and materials for further training. It is now up to developers to verify the extent to which these claimed speeds hold up in real-world systems—environments where AI agents must simultaneously manage large contexts, access external tools, and execute long sequences of actions.