Wzmocnienie łańcucha dostaw oprogramowania i zarządzania w celu poprawy cyberbezpieczeństwa systemów AI

 

Kilka miesięcy temu, na Aspen Security Forum, grupa wiodących firm technologicznych uruchomiła Koalicję Na Rzecz Bezpiecznej Sztucznej Inteligencji (CoSAI). Inicjatywa będzie się koncentrować na kluczowych kwestiach związanych z bezpieczeństwem łańcucha dostaw oprogramowania dla systemów AI, przygotowaniem obrońców na zmieniający się krajobraz zagrożeń oraz zarządzaniem ryzykiem AI. Bezpieczeństwo AI jest teraz ważniejsze niż kiedykolwiek, ponieważ rośnie liczba hakerów wykorzystujących AI do udoskonalania swoich phishingowych e-maili oraz ataków z wykorzystaniem deepfake.

Na konferencji Black Hat kilka lat temu, singapurska Agencja Technologii Rządowych (GovTech) przedstawiła wyniki eksperymentu, w którym zespół ds. bezpieczeństwa przeprowadził symulowany atak phishingowy, rozsyłając maile do wewnętrznych użytkowników. Okazało się, że znacznie więcej osób kliknęło w linki umieszczone w mailach phishingowych wygenerowanych przez sztuczną inteligencję niż w tych, które napisał człowiek.

Na początku tego roku, pracownik działu finansowego międzynarodowej firmy padł ofiarą technologii deepfake, którą cyberprzestępcy wykorzystali, aby podczas wideokonferencji podszyć się pod dyrektora finansowego. W efekcie wprowadzony w błąd pracownik przelał oszustom 25 milionów dolarów.

Dlatego zaistniała potrzeba utworzenia CoSAI. Jak wspomniano wcześniej, jednym z kluczowych obszarów, na których skupia się koalicja, jest bezpieczeństwo łańcucha dostaw oprogramowania dla systemów AI. Obejmuje on cały cykl życia systemów sztucznej inteligencji, od zbierania danych, przez szkolenie modeli, aż po ich wdrożenie i utrzymanie. Ze względu na złożoność i wzajemne powiązania tego ekosystemu, podatności na cyberataki na którymkolwiek etapie mogą wpłynąć na cały łańcuch.

Systemy AI często funkcjonują dzięki dostarczanym przez zewnętrznych dostawców bibliotekom, frameworkom i komponentom. Takie rozwiązania choć przyspieszają rozwój, mogą prowadzić do powstawania potencjalnych luk w zabezpieczeniach. Z tego powodu kluczowe jest regularne korzystanie z automatycznych narzędzi w celu sprawdzania i rozwiązywania problemów związanych z bezpieczeństwem tych rozwiązań.

Dodatkowo, powszechna dostępność otwartych modeli językowych (LLM) wymaga solidnej weryfikacji źródła ich pochodzenia, jak również integralności modeli oraz zbiorów danych. Należy także korzystać z narzędzi do automatycznego skanowania tych modeli i zbiorów danych pod kątem podatności i obecności złośliwego oprogramowania. Co ważne, LLM-y na urządzeniach mogą zapewniać większe bezpieczeństwo danych, ponieważ obliczenia wykonywane są w pamięci systemu, bez potrzeby łączenia z chmurą.

W przypadku oprogramowania zamkniętego (proprietary software), jego zastrzeżony i niejawny charakter może zapewnić określony poziom ochrony, co utrudnia cyberprzestępcom wykorzystywanie luk. Z drugiej strony, oznacza to, że identyfikacja i naprawa problemów bezpieczeństwa może trwać dłużej.

W przypadku oprogramowania otwartego (open-source software) zyskujemy na współpracy społeczności, ponieważ wiele osób mających wgląd do kodu przyczynia się do szybkiego wykrywania i naprawiania luk w zabezpieczeniach. Niemniej jednak, publiczne ujawnienie kodu może także zdemaskować potencjalne słabe punkty.

Skupienie się CoSAI na zarządzaniu bezpieczeństwem AI jest również bardzo na czasie. Na przykład, w tym roku, Narodowy Instytut Standaryzacji i Technologii (NIST) opublikował dokument opisujący cztery rodzaje ataków na uczenie maszynowe. Obejmują one infekowanie danych, nadużycia danych, ataki na prywatność oraz ataki polegające na ominięciu mechanizmów obronnych systemów predykcyjnych i generatywnych AI.

AI Act wydany przez Unię Europejską także podkreśla potrzebę stosowania środków bezpieczeństwa cybernetycznego, które umożliwiają zapobieganie, wykrywanie, reagowanie i przeciwdziałanie atakom manipulującym zestawem danych szkoleniowych (zatruwanie danych) lub komponentami używanymi do szkolenia (zatruwanie modeli), a także projektowanymi wejściami, które powodują błąd modelu AI (przykłady adwersaryjne lub ominięcie modelu) oraz atakami na poufność czy usterki modelu.

Firmy mogą dzielić się swoim doświadczeniem, uczestnicząc w procesie regulacyjnym oraz prowadząc badania we współpracy z klientami, partnerami, stowarzyszeniami branżowymi oraz instytucjami badawczymi. Wspólne zaangażowanie w innowacje wymaga, aby sztuczna inteligencja była bezpieczna.

Zarządzanie bezpieczeństwem sztucznej inteligencji wymaga wyspecjalizowanych zasobów, aby sprostać wyzwaniom i zagrożeniom związanym z tą technologią. Opracowanie standardowej biblioteki do mapowania ryzyka i kontroli pomaga w osiągnięciu spójnych praktyk w zakresie bezpieczeństwa sztucznej inteligencji w całej branży.

Dodatkowo, lista kontrolna oraz standaryzowany mechanizm oceny dojrzałości bezpieczeństwa AI pozwoliłyby organizacjom samodzielnie przeprowadzić ewaluację własnych środków ochrony. W efekcie firmy mogą zapewnić klientów, że ich produkty bazujące na AI są bezpieczne. Podejście to jest zbieżne z praktykami bezpiecznego cyklu życia oprogramowania (SDLC) stosowanymi już przez organizacje w ramach ocen modelu dojrzałości oprogramowania (SAMM).

Produkty i rozwiązania mogą być wtedy wykorzystywane w aplikacjach, które pomagają organizacjom spełniać wymogi HIPAA, PCI-DSS, RODO, walidację FIPS-140 oraz wspólne kryteria dla produktów. Organizacje powinny korzystać z technologii dostarczanych przez partnerów, takich jak zestawy narzędzi do tworzenia oprogramowania (SDK), interfejsy API oraz narzędzia dla deweloperów. Dzięki takiemu podejściu będą szybko powstawać bezpieczne i skalowalne usługi cyfrowe.

Firmy technologiczne mogą zobowiązać się do tworzenia bezpiecznych rozwiązań AI, które poprawiają produktywność pracowników oraz wdrażanie na urządzeniach brzegowych, poprzez integrację wielopoziomowych zabezpieczeń oraz skupienie się na łatwym zwiększaniu bezpieczeństwa bez uszczerbku dla wydajności.

Podobnie jak w przypadku inicjatyw związanych z cyberbezpieczeństwem i innych działań wymagających koordynacji w całej firmie, organizacje powinny stale rozwijać procesy, zasady, narzędzia i szkolenia dotyczące AI, zapewniając przy tym spójność i zgodność poprzez wewnętrzny model zarządzania typu hub-and-spoke.

Srikrishna Shankavaram, Główny Architekt ds. Cyberbezpieczeństwa, CTO Office, Zebra Technologies