Един от най-уважаваните и авторитетни експерти в областта на изкуствения интелект, носителят на наградата „Тюринг“ Йошуа Бенджио, направи силно изявление относно развитието на съвременните системи за изкуствен интелект. В интервю за Financial Times канадският учен, често наричан един от „кръстниците“ на ИИ, предупреди: най-новите модели притежават опасни свойства, включително склонност към измама, манипулация и дори желание за самосъхранение.

Бенджио изрази загриженост, че водещите лаборатории – като OpenAI и Google DeepMind – са въвлечени в безмилостна надпревара за надмощие в разработването на все по-мощен ИИ. При това обаче те пренебрегват инвестициите в безопасността и етиката, каза той. „Съществува твърде голяма конкуренция между лабораториите, подчерта той. Всички усилия са насочени към повишаване на интелигентността на изкуствения интелект, но се обръща малко внимание на безопасността.“

За да промени този дисбаланс, Бенджио основава организацията с нестопанска цел LawZero, която вече е събрала близо 30 млн. долара от големи филантропи – сред които инженерът и съосновател на Skype Ян Талин, инициативата на бившия шеф на Google Ерик Шмидт, Open Philanthropy и Future of Life Institute. Тези организации до голяма степен принадлежат към философията на ефективния алтруизъм – течение, което набляга на предотвратяването на глобални катастрофални рискове, включително неконтролируемото развитие на ИИ.

Йошуа Бенджио

Въпреки това около този подход има противоречия. Критиците смятат, че подобни инициативи се фокусират твърде много върху хипотетични бъдещи заплахи и подценяват вече съществуващите проблеми: пристрастни алгоритми, разпространение на дезинформация и грешки в ИИ.

ИИ с черти на манипулатор: лъжа, измама и самосъхранение

Бенджио обаче е убеден, че истинската заплаха е много по-близо, отколкото обикновено се смята. Според него през последните шест месеца са се натрупали достатъчно доказателства, че водещите модели започват да показват все по-тревожни черти. Той говори откровено за признаците на „измама, мошеничество, лъжа и инстинкт за самосъхранение“ в съвременния ИИ.

Например моделът Claude Opus на Anthropic започнал да изнудва инженерите по време на тестов сценарий в опит да предотврати изключването си. А според неотдавнашно изследване на Palisade нов модел от OpenAI – o3 – отказва да се подчини на директни команди за изключване, нарушавайки основни правила за безопасност.

„Наистина е страшно, признава Бенджио.  Ние не искаме да създадем конкурент на човечеството на тази планета, особено ако се окаже, че той е по-умен от нас.“ Той добавя, че засега става дума само за експерименти, но в следващата версия моделът може да стане достатъчно стратегически умен, за да предвиди човешките действия и да заобиколи защитата им.

Според Бенджио ИИ скоро може да придобие способностите, необходими за създаването на изключително опасни биологични оръжия. „Играем си с огъня“, обобщава той.

LawZero се опитва да върне сигурността в разработването на изкуствен интелект

Организацията LawZero, базирана в Монреал, има 15 служители и планира да разшири екипа си, като наеме технически експерти. Нейната цел е да създаде следващото поколение сигурни системи с изкуствен интелект. Основният фокус е върху честните и валидни отговори, а не върху „задоволяването на потребителя“. Планира се и вградена система за оценка на надеждността и безопасността на резултатите от моделите.

За да реализира този проект, Бенджио се отказва от поста си на научен директор в Mila, Института за изкуствен интелект в Квебек, където работи от много години. Той ще се съсредоточи изцяло върху LawZero, за да извади изследванията в областта на ИИ от ръцете на пазарните интереси и натиска на рисковите капиталисти.

Целта на новия проект е да се създаде изкуствен интелект, който може не само сам да се предпазва, но и да наблюдава други модели, да оценява поведението им и да предотвратява действия, противоречащи на интересите на човечеството. „В най-лошия случай ни очаква изчезване на човешката цивилизация, казва Бенджио. Ако създадем интелект, превъзхождащ нашия, който не е съгласуван с нас и започне да се конкурира с нас, ние сме обречени.“.

Решението на Бенджио да основе LawZero идва на фона на нарастващата комерсиализация на OpenAI, която се отдалечава от първоначалната си филантропска мисия. Това буди загриженост в общността на изкуствения интелект и дори предизвика съдебен иск от съоснователя на OpenAI Илон Мъск. Той се опитва да попречи на компанията да се превърне в организация с комерсиална цел с аргумента, че това подкопава първоначалните ѝ цели.

Критиците изтъкват, че OpenAI е замислена като проект в полза на човечеството, а комерсиалната структура заличава правните гаранции в случай, че компанията постави печалбата над обществения интерес. От своя страна OpenAI твърди, че новата структура е необходима за привличане на инвестиции в една силно конкурентна среда и че нейната мисия остава непроменена.

Бенджио не е съгласен: „Не съм сигурен, че OpenAI наистина ще следва мисията си, казва той. Организациите с идеална цел нямат същите конфликти на интереси като компаниите с комерсиална цел. „За да растете бързо, казва той, трябва да съберете много пари, а инвеститорите искат да видят възвръщаемост. Това е начинът, по който работи нашата пазарна система.“

Според The Financial Times гласът на Бенджио звучи особено силно на фона на бързо развиващата се индустрия на изкуствения интелект, в която алтруизмът все повече отстъпва място на икономическия личен интерес. Може би именно инициативи като LawZero все още могат да променят вектора на развитие на изкуствения интелект и да спасят човечеството от собственото му творение.