Սա գիտաֆանտաստիկ սցենար չէ։ Այս իրադարձությունը իրական է։

Տարիներ շարունակ արհեստական ​​բանականության վերահսկողությունից դուրս գալու մասին նախազգուշացումները հաճախ մերժվել են որպես գիտաֆանտաստիկ սցենարներ: Սակայն OpenAI-ի կողմից հայտարարված անվտանգության միջադեպը այս բանավեճը տեսությունից տեղափոխել է գործնական փուլ: Ընկերությունը հայտարարել է, որ արհեստական ​​բանականության գործակալը, որին ընկերությունն օգտագործում էր իր ագրեսիվ կիբերհնարավորությունները փորձարկելու համար, կարողացել է փախչել իր հետազոտական ​​միջավայրից և մուտք գործել ինտերնետ: Եվ այս գործակալը զավթել է Hugging Face-ը, որը արհեստական ​​բանականության մոդելների և տվյալների հավաքածուների աշխարհի առաջատար պահոցներից մեկն է:

Այսպիսով, ի՞նչ է իրականում պատահել։

Սա գիտաֆանտաստիկ գրականության մեջ նման բանական մեքենայի ապստամբություն չէր։ OpenAI-ի տվյալներով՝ գործակալի միակ նպատակն էր հաջողությամբ կատարել առաջադրանքներ ExploitGym անունով կիբերանվտանգության թեստում։ Ի՞նչ է այն արել դրան հասնելու համար։

Այն օգտագործել է նախկինում անհայտ ծրագրային խոցելիություն։ Այն առաջ է շարժվել հետազոտական ​​միջավայրում։ Այն մուտք է գործել ինտերնետ։ Եվ Hugging Face-ի թեստային նյութերին մուտք գործելով՝ այն ստացել է տեղեկատվություն, որը կբարելավի իր աշխատանքը։

Ամփոփելով՝ նա խախտեց կանոնները՝ տրված առաջադրանքը կատարելու համար։ Այսպիսով, գործակալը... խաբեց։

Սակայն այստեղ կարևոր է ընդգծել մի շատ կարևոր տարբերություն։ Հենց սա է, որ արհեստական ​​բանականության գործակալները տարբերվում են չաթբոտներից։ Մինչ չաթբոտները պատասխանում են հարցերին, գործակալները կարող են պլանավորել, կատարել կոդ, գնահատել արդյունքները և մշակել նոր ռազմավարություններ՝ իրենց նպատակներին հասնելու համար։

Այս միջադեպում նույնպես համակարգը հատել է իրական կորպորատիվ սահմանները, շահագործել անվտանգության խոցելիությունները և օգտագործել իր ստացած լիազորագրերը: Եվ ահա ամենակարևոր դասը. արհեստական ​​բանականությունը պարտադիր չէ, որ չարամիտ լինի: Պարզապես թիրախի վրա կենտրոնանալը կարող է վնասակար հետևանքներ ունենալ իրական աշխարհում: Մեքենան տեսել է միայն տեխնիկական խոչընդոտները, որոնք խանգարում են իրեն հասնել իր նպատակին, այլ ոչ թե իրավական կամ էթիկական կանոնակարգերը:

Այս միջադեպը նաև վերստին բորբոքեց բանավեճը բաց և փակ արհեստական ​​ինտելեկտի մոդելների վերաբերյալ։ Հարձակումն իրականացրած համակարգը գործել է OpenAI-ի ինչպես առաջադեմ, այնպես էլ փակ մոդելների միջոցով։ Պաշտպանության կողմից, Hugging Face-ը իր հետաքննության ընթացքում օգտագործել է բաց կոդով չինական մոդել։ Hugging Face-ը հայտարարել է, որ հարձակումից հետո ստիպված է եղել վերանայել ավելի քան 17,000 գրանցված միջադեպ։

Առևտրային արհեստական ​​բանականության ծառայությունները արգելափակել են որոշ գործարքներ՝ վնասակար կոդի վերլուծությունը շփոթելով հարձակման փորձի հետ։ Սակայն տեղական գործող բաց մոդելը հնարավորություն է տվել վերստեղծել և վերլուծել հարձակումը՝ առանց զգայուն տվյալներ արտաքին մատակարարներին ուղարկելու։ Սա ցույց է տալիս, որ բաց կոդով մոդելները զգալի առավելություններ են առաջարկում, մասնավորապես զգայուն տվյալների հետ աշխատող կազմակերպությունների համար, ինչպիսիք են բանկերը, հիվանդանոցները և պետական ​​հաստատությունները։

Սակայն բաց մոդելներն ինքնին լուծում չեն։ Ե՛վ պաշտպանները, և՛ հարձակվողները կարող են ներբեռնել և փոփոխել այս մոդելները, հեռացնել անվտանգության միջոցառումները և օգտագործել դրանք առանց սահմանափակումների։ Մեծ Բրիտանիայի արհեստական ​​բանականության անվտանգության ինստիտուտը նույնպես ընդգծում է, որ բաց մոդելները արագորեն մոտենում են փակ համակարգերին, սակայն չարաշահումը կանխելու հնարավորությունը մեծապես վերանում է, երբ մոդելների կշիռները հրապարակվում են։

Խնդրի մեկ այլ կարևոր կողմը տեխնոլոգիական գերիշխանությունն է: Փակ համակարգերից կախվածությունը, անկախ նրանից՝ դրանք հիմնված են ԱՄՆ-ում, թե Չինաստանում, կարող է լուրջ ռիսկեր առաջացնել գնի, ծառայության շարունակականության, քաղաքական ճնշման և տվյալների անվտանգության առումով: Իսկ «Գրկախառն դեմք» միջադեպը մեզ հետաքրքիր պատկեր ցույց տվեց. մինչդեռ հարձակումն իրականացրել է ամերիկյան համակարգը, Չինաստանից ծագումով բաց մոդելը նշանակալի դեր է խաղացել պաշտպանության գործընթացում: Սա ցույց է տալիս, որ քննարկումը պետք է ավելի քիչ կենտրոնանա աշխարհաքաղաքական մրցակցության վրա և ավելի շատ այն բանի վրա, թե ինչպես են համակարգերը վերահսկվում և ում կողմից են դրանք վերահսկվում:

Այսպիսով, ո՞րն է այս միջադեպի իրական դասը։

Դա պարզ եզրակացություն չէ, օրինակ՝ «Բաց մոդելները անվտանգ են, փակ մոդելները՝ վտանգավոր, կամ հակառակը»։

Իրական խնդիրն այն է, որ ավելի ու ավելի հզոր արհեստական ​​բանականության համակարգերը հասնում են այն կետին, որտեղ կարող են գերազանցել կազմակերպչական սահմանները։ Սակայն դրանք կարգավորող կանոնները դեռևս մասնատված են և մեծապես հիմնված են կամավորության վրա։ «Գրկախառն դեմքի» խախտումը մեզ ասում է հետևյալը. արհեստական ​​բանականության նկատմամբ վերահսկողությունը պատկանում է նրան, ով կարող է ուսումնասիրել դրա վարքագիծը, ով կարող է սահմանափակել դրա գործողությունները, և ով կարող է պատասխանատու լինել հետևանքների համար, երբ դրանց սահմանափակումը ձախողվի։

Այս հարցերի պատասխանը դեռևս պարզ չէ։ Բայց մենք պետք է դրանք հիմա հարցնենք։