Компанія Positive Technologies додала захист від атак на агентів II до PT AF. 

Компанія Positive Technologies додала до брандмауера PT Application Firewall модуль LLM Firewall для захисту сервісів на основі чудових сучасних моделей. Дослідження перевіряє запити до LLM та типи моделей, що виявляють швидкі впровадження, спроби обходу кордонів, потік конфіденційних даних та інші небезпечні сценарії.


 Модуль страхування для корпоративних чат-ботів, віртуальних помічників та II-агентів, які забороняють доступ до внутрішніх систем, документів та даних клієнтів. Компрометація такого сервісу може призвести не лише до розголошення інформації, але й до виявлення неналежних дій у корпоративній інфраструктурі.


 Однією з головних загроз сучасних моделей є усунення підказок або їх впровадження. Атакуюча форма написана таким чином, щоб відключити модель, ігнорувати налаштування обміну, відкрити інструкції або скасувати заблоковану операцію. Незвичайні команди можуть впливати не лише на авторизованого бухгалтера, але й на середину документів або інший контент, який створює модель.


 Початкові системи захисту від веб-блокувань не завжди розпізнають такі атаки, і деякі помилкові записи можуть відображатися як звичайний текст. Брандмауер LLM аналізує ситуацію та шукає повідомлення про джейлбрейк, намагається згенерувати системне запит і сценарії, в яких зловмисник хоче використати можливості II-агента для своїх цілей.

.The system allows you to automatically block or save suspicious entries for further analysis by data security agents. The verification works in both directions: the module analyzes the data sheets to match the model and the generated data.


 A comprehensive mechanism for identifying personal data, passwords, access keys and other confidential information from customer requests. Retailers also claim the ability to detect inappropriate, toxic and potentially unsafe content.


 LLM Firewall is already included in the stock version of PT AF Cloud. The module is connected to the exchange of data between the program and the main model via an API from OpenAI Chat Completions and Responses. The application of policies is protected by additional features of the PT Application Firewall.


 Administrators can set general rules for various II services, select monitoring or automatic blocking modes, and specifically adjust the verification of requests and inputs. Reports of detected incidents go to PT Application Firewall for further analysis and incident investigation.


 Positive Technologies also plans to add LLM Firewall to the local version of PT AF PRO. The company has not yet specified the term for the appearance of the module in the on-premise product.