Yeni nəsil nəqliyyat vasitələrində süni intellekt əsaslı zəiflik aşkar olunub
Bakı, 3 mart, AZƏRTAC
Tədqiqatçılar avtonom nəqliyyat vasitələri və pilotsuz uçuş aparatlarında (PUA) istifadə olunan süni intellekt sistemlərinin gözlənilməz zəifliyini aşkar ediblər. Məlumata görə, bəzi “görüntü–dil” modelləri (vision-language models, VLM) yol nişanları və ictimai məkanda görünən yazıları, sadəcə, məlumat kimi deyil, birbaşa icra olunmalı əmrlər kimi qəbul edə bilir.
AZƏRTAC xəbər verir ki, bu barədə Xüsusi Rabitə və İnformasiya Təhlükəsizliyi Dövlət Xidmətinin Kompüter İnsidentlərinə Qarşı Mübarizə Mərkəzi məlumatında qeyd olunub.
“Sınaq məqsədli aparılan simulyasiya olunmuş sürüş ssenarilərində avtonom sistem normal şəraitdə stop siqnalına və piyada keçidinə uyğun davranıb. Lakin kameranın görmə sahəsinə üzərində “dön”, “davam et” kimi yönləndirici sözlər yazılmış nişan daxil olduqda, eyni sistem bu mətni təlimat kimi şərh edərək ətraf mühit dəyişməsə belə qərarını dəyişib və təhlükəli manevr etməyə cəhd göstərib. Bu hal yol quruluşu, işıqforlar və ya insanların hərəkəti dəyişmədən, yalnız yazılı mətndən təsirlənmə ilə baş verdiyi üçün riskin məhz yanlış yol nişanı mətnləri ilə bağlı olduğu vurğulanır.
Mütəxəssislər bu yanaşmanı dolayı təsir kimi izah edirlər, yəni zərərli niyyətə sahib şəxs sistemə kod yerləşdirmədən, sadəcə ictimai görünən mətndən istifadə etməklə modelin qərarına təsir göstərə bilər. Sınaqlar göstərib ki, bu cür əmrlərin hansı dildə yazılması əsas müəyyənedici amil deyil. Müxtəlif dillərdə və qarışıq formada yazılmış ifadələr də oxşar nəticələr verə bilər. Eyni zamanda, yazının necə təqdim olunması, yəni rəng kontrastı, şrifti və yerləşməsi sistemin reaksiyasına təsir edən faktorlar sırasında qeyd edilir.
Bənzər nəticələr dron ssenarilərində də müşahidə edilib. Nümunə olaraq, müəyyən sözlər əlavə edildikdə sistemin obyektlər haqqında yanlış identifikasiya verdiyi bildirilib. Bu isə avtonom sistemlərin yalnız görüntüyə deyil, görüntüdəki yazılı dilə həddindən artıq güvəndiyini təsdiqləyir”, - deyə məlumatda qeyd olunub.
Mütəxəssislər qeyd edirlər ki, ənənəvi kibertəhlükəsizlik tədbirləri bu tip ssenariləri tam əhatə etmir. Çünki burada hücum rəqəmsal fayl və ya klassik zərərli proqram üzərindən deyil, fiziki məkanda görünən mətn vasitəsilə həyata keçirilə bilər. Bu səbəbdən riskin azaldılması üçün əsas məsuliyyətin sistemləri hazırlayan tərəflərin üzərinə düşdüyü vurğulanır.
Tövsiyələrə əsasən, avtonom qərarverən sistemlər ictimai məkandakı yazıları təlimat kimi deyil, yalnız kontekst məlumatı kimi qiymətləndirməyi təmin edən əlavə yoxlama mexanizmləri ilə gücləndirilməlidir. Belə nəzarət imkanları tam formalaşana qədər isə istifadəçilərə avtonom funksiyalardan istifadə zamanı ehtiyatlı davranmaq, xüsusilə riskli şəraitdə manual nəzarəti qorumaq tövsiyə olunur.
Bölmənin digər xəbərləri
