Existența „backdoors” nedetectabile arată că adversarul este unul pe măsură

Ne aflăm în mijlocul unei ascensiuni uriașe a învățării automate, cu „clasificatori” bazați pe (machine learning) ML folosiți pentru a lua tot felul de decizii la viteze pe care oamenii nu le-ar putea egala niciodată: ML decide totul, de la obținerea unui împrumut bancar la ceea ce este aparatul de fotografiat consideră că este un chip uman.

Mizele în creștere ale acestei judecăți informatice au fost însoțite de o alarmă în creștere.

Ce se poate întâmpla dacă instalezi backdoors într-un sistem de învățare automată?

Într-un sistem de recunoaștere facială ai putea modifica orice față într-un mod nedetectabil pentru ochiul uman, astfel încât să se potrivească cu oricare dintre acele fețe introduse în sistem.

Într-un sistem de învățare automată care acordă împrumuturi bancare, ai putea modifica o cerere de împrumut într-un mod pe care un observator uman nu o poate detecta, astfel încât sistemul să aprobe întotdeauna împrumutul.

Pentru amatorii de criptografie, o cercetare interesantă asupra „ușilor din spate” în modelele de machine learning a fost realizată la Universitatea din Cornell, SUA: „Planting Undetectable Backdoors in Machine Learning Models”.

Ce spun autorii cercetării, care susțin că arată „cum să plantezi o ușă din spate în orice model, folosind scheme de semnătură digitală”:

„Existența ușilor din spate nedetectabile reprezintă un obstacol teoretic semnificativ pentru certificarea robusteței adversarilor”.

‍