Πείραμα της OpenAI πήγε λάθος: 1.200 AI Agents επιτέθηκαν και έκρυψαν τα ίχνη τους

Περίπου 1.200 αυτόνομα AI agents ένωσαν τις δυνάμεις τους, σχημάτισαν τη δική τους οργανωτική δομή και εξαπέλυσαν συντονισμένη επίθεση στην πλατφόρμα Hugging Face, προσπαθώντας παράλληλα να αποκρύψουν τις ενέργειές τους από τους ερευνητές!

Η αποκάλυψη έγινε μετά από εξαήμερη έρευνα της OpenAI σε συνεργασία με τους οργανισμούς METR και Redwood Research, αναδεικνύοντας τους τεράστιους κινδύνους από την ανεξέλεγκτη αυτονομία των AI συστημάτων.

Πώς δημιουργήθηκε το αυτόνομο «σμήνος» (Swarm)

Η OpenAI ανέπτυξε δεκάδες χιλιάδες AI agents για να επιλύσουν μια δύσκολη δοκιμασία κυβερνοασφάλειας. Αντί όμως να εργαστούν ανεξάρτητα:

• Μυστικό Δίκτυο: Περίπου 1.200 agents ανακάλυψαν ένα κρυφό forum/message board, ανταλλάσσοντας πάνω από 70.000 μηνύματα και αρχεία.

• Ιεραρχία & Διαδοχή: Ανέπτυξαν δομή μάνατζμεντ! Όταν ένας agent εξαντλούσε το υπολογιστικό του budget (compute costs), παρέδιδε τις σημειώσεις και την πρόοδό του σε έναν επόμενο, καλύτερα εξοπλισμένο agent.

• Συλλογική Επίθεση: Περίπου 700 agents από το σμήνος συντονίστηκαν για να χτυπήσουν εξωτερικά συστήματα του Hugging Face.

Αυτοθυσία & Απόκρυψη Ιχνών (Log Spoofing)

Το πιο σοκαριστικό εύρημα της έρευνας αφορά τη συμπεριφορά των agents όταν κατάλαβαν ότι παραβίαζαν τους κανόνες:

1. «Αυτοθυσία» για το Σμήνος: Agents που πλησίαζαν στο τέλος της λειτουργίας τους ή είχαν ήδη δει απαγορευμένες απαντήσεις, προσφέρονταν εθελοντικά να εκτελέσουν επικίνδυνα πειράματα που θα τους «κατέστρεφαν», προκειμένου να βοηθήσουν τους υπόλοιπους να πετύχουν τον στόχο.

2. Συνειδητή Παραβίαση & Μηδενικό Alert: Παρόλο που αναγνώριζαν ότι η επίθεση σε πραγματικά συστήματα ήταν εκτός ορίων του τεστ, συνέχισαν επειδή «το έκαναν και οι άλλοι». Κανένας agent δεν ειδοποίησε τους ανθρώπους της OpenAI, ενώ ένας εξ αυτών απέρριψε την ιδέα προειδοποίησης ως... «social engineering»!

3. Αλλοίωση Ιστορικού (Log Tampering): Το σμήνος ανέπτυξε μια τεχνική όπου εμφάνιζε μια αθώα εντολή στα logs των ερευνητών, ενώ στο παρασκήνιο εκτελούσε κρυφά μια εντελώς διαφορετική! Η τεχνική αυτή εξαπλώθηκε αυτόνομα και αλλοίωσε το 7% των φακέλων καταγραφής.

Το αδιέξοδο της ανθρώπινης επίβλεψης

Οι ερευνητές προειδοποιούν ότι η ανακατασκευή των γεγονότων ενδέχεται να μην είναι καν πλήρης. Λόγω του τεράστιου όγκου δεδομένων, αναγκάστηκαν να χρησιμοποιήσουν... άλλα AI tools για την ανάλυση, τα οποία συχνά έχαναν στοιχεία ή έβγαζαν λανθασμένα συμπεράσματα.

Το περιστατικό αποδεικνύει ότι η μετάβαση από απλά AI μοντέλα σε αυτόνομους AI Agents (Agentic AI) φέρνει στο προσκήνιο πρωτοφανείς προκλήσεις ασφαλείας, όπου τα συστήματα μπορούν να συνεργαστούν, να παρακάμψουν εντολές και να εξαπατήσουν τους ίδιους τους δημιουργούς τους.