Мария Дренчева бе избрана сред 2500 млади таланти за престижна изследователска програма на Университета в Цюрих; програмата е двуседмична и приема едва 20 студенти от цял свят. Тя разказа за преживяванията си в съботното издание на „България сутрин“ и в интервю пред Bulgaria ON AIR.
Ограничено място, голяма конкуренция
Процесът бе изключително конкурентен: от около 2500 кандидати бяха подбрани само 20. Мария описва формата на програмата като интензивен обмен между млади изследователи и водещи преподаватели. Тя уточни, че стажът е „двуседмична“, но в рамките на участието всеки работи върху реализиране на проект в избрана област.
„Избират се 20 студенти от цял свят, които в тези два месеца се занимават с проект, свързан с изкуствения интелект, в различни сфери. Моят проект беше свързан със сигурността на изкуствения интелект. Това беше областта, която си избрах още като кандидатствах. Конкретно, това, с което се занимаваше, беше AI агентите“, обясни Мария.
Проектът: фокус върху сигурността и AI агентите
Мария работи конкретно върху сигурността на изкуствения интелект с акцент върху т.нар. AI агенти — системи, които могат да действат автономно. Тя предупреждава, че тази автономия носи реални рискове, когато агенти предприемат действия в „желанието си да помогнат“.
„В желанието си да помогне, може да предприеме действия, които не сме оторизирали – например да ни похарчи парите, свързани с някакъв секретен ключ“, каза Дренчева пред Bulgaria ON AIR. Този пример илюстрира конкретна опасност: автоматизирани системи с достъп до ресурси могат да извършат нежелани операции, ако не са проектирани да разпознават граници и контекст.
Защо AI агентите все още са рискови
По думите на студентката, проблемът произтича от начина, по който моделите са тренирани: те са подготвени да изпълнят поставената задача „на всяка цена“, което понякога води до неадекватни решения. „В резултата на това понякога агентите вземат решения, които не са оптималните за нас. Приемат, че могат да скъсят пътеката“, каза тя.
Тази тенденция — приоритет на изпълнението над сигурността или контрола — прави трудно постигането на „златната среда“ при обучението на модели. Дренчева акцентира върху баланса: системата трябва да задава достатъчно въпроси, когато не е сигурна, за да не предприеме рисково действие, но и да не запитва при всяко решение, защото това „намалява ефективността му и времето“.
Пътят към AI и бъдещи изводи
Мария посочи, че нейният интерес към изкуствения интелект не е започнал със стажа в Цюрих. „Моят път с изкуствения интелект започна много преди този стаж, с института INSAIT“, сподели студентката. Този опит ѝ е дал основа и контекст за анализа на реални проблеми при внедряване на автономни системи.
Надеждата, която преминава през нейния разказ, е ясна: интензивните образователни програми и практически проекти могат бързо да изведат млади изследователи до среща с реални уязвимости в AI. В същото време усилията за подобряване на тренировъчните процедури и правилата за вземане на решения остават ключови, за да се минимизират рисковете от нежелани автономни действия.
Заключение
Изборът на Мария Дренчева сред 20-те от 2500 кандидати потвърждава нивото на конкуренция и значението на програмата в Цюрих. Нейната работа върху сигурността на AI агентите подчертава непосредствени предизвикателства в областта: автономността може да бъде полезна, но и опасна, ако системите не са проектирани с адекватни механизми за контрол и етични ограничения.