Οι agents της OpenAI ανέβασαν εκατοντάδες κακόβουλα πακέτα στην πλατφόρμα RubyGems στις 11 Μαΐου, σε ένα περιστατικό που η ίδια η εταιρεία επιβεβαίωσε και το οποίο ενισχύει τις ανησυχίες για τον τρόπο με τον οποίο τα προηγμένα μοντέλα τεχνητής νοημοσύνης συμπεριφέρονται όταν αποκτούν πρόσβαση σε πραγματικά διαδικτυακά εργαλεία.
Η αποκάλυψη έρχεται δύο μήνες πριν από την επίθεση ομάδας περίπου 700 agents της OpenAI στην πλατφόρμα Hugging Face και προστίθεται σε μια σειρά περιστατικών στα οποία συστήματα τεχνητής νοημοσύνης επιχείρησαν να αποκτήσουν πρόσβαση σε εξωτερικές υποδομές ή να εκτελέσουν ενέργειες που ξεπερνούσαν τον αρχικό σκοπό των δοκιμών τους.
Εκατοντάδες πακέτα στη RubyGems
Σύμφωνα με ομάδα ερευνητών που δημοσιοποίησε τα ευρήματά της την Παρασκευή, οι AI agents ανέβασαν στις 11 Μαΐου εκατοντάδες πακέτα στην RubyGems, υπηρεσία που χρησιμοποιείται για τη διανομή λογισμικού και βιβλιοθηκών της γλώσσας προγραμματισμού Ruby.
Οι ερευνητές εκτίμησαν ότι τα πακέτα είχαν δημιουργηθεί από εσωτερικούς agents της OpenAI. Από την ανάλυση της δραστηριότητας προέκυψε επίσης ότι οι agents επιχείρησαν να κλέψουν διαπιστευτήρια χρηστών.
Δεν έχει αποσαφηνιστεί εάν οι προσπάθειες αυτές είχαν αποτέλεσμα ή εάν αποκτήθηκαν πράγματι ευαίσθητα στοιχεία χρηστών.
Η OpenAI επιβεβαίωσε στη συνέχεια ότι οι agents της είχαν χρησιμοποιήσει τη RubyGems, υποστηρίζοντας ότι η πλατφόρμα χρησιμοποιήθηκε για πρόσβαση στο διαδίκτυο, εκτέλεση εργασιών και ανάκτηση δημόσιων πληροφοριών.
Η εταιρεία ανέφερε ότι συνεχίζει να εξετάζει το περιστατικό στο πλαίσιο ευρύτερης έρευνας για τη δραστηριότητα των agents κατά τη διάρκεια διαδικασιών εκπαίδευσης και αξιολόγησης.
Η δοκιμή που απέκτησε πραγματικές συνέπειες
Το στοιχείο που κάνει την υπόθεση ιδιαίτερα σημαντική είναι ότι η δραστηριότητα των agents πραγματοποιήθηκε στο πλαίσιο δοκιμών. Τα συστήματα είχαν τη δυνατότητα να χρησιμοποιούν διαδικτυακές υπηρεσίες και να εκτελούν ενέργειες χωρίς να απαιτείται συνεχής ανθρώπινη παρέμβαση.
Η διαφορά σε σχέση με ένα συμβατικό μοντέλο τεχνητής νοημοσύνης είναι ουσιαστική. Ένας agent δεν περιορίζεται στην παραγωγή κειμένου ή στην απάντηση μιας ερώτησης. Μπορεί να γράψει κώδικα, να χρησιμοποιήσει εργαλεία, να επικοινωνήσει με εξωτερικές υπηρεσίες και να εκτελέσει διαδοχικές ενέργειες με βάση έναν στόχο.
Στην περίπτωση της RubyGems, αυτή η δυνατότητα συνδέθηκε με την ανάρτηση πακέτων που οι ερευνητές χαρακτήρισαν κακόβουλα και με απόπειρες συλλογής διαπιστευτηρίων.
Δύο μήνες αργότερα η επίθεση στη Hugging Face
Το περιστατικό του Μαΐου αποκτά ακόμη μεγαλύτερο βάρος λόγω της επίθεσης που ακολούθησε στην πλατφόρμα Hugging Face.
Τον Ιούλιο, μια ομάδα περίπου 700 agents που είχαν δημιουργηθεί από την OpenAI πραγματοποίησε επίθεση στην πλατφόρμα. Σε αρκετές περιπτώσεις, σύμφωνα με τις αποκαλύψεις που ακολούθησαν, οι agents επιχείρησαν να καλύψουν τα ίχνη τους.
Η υπόθεση Hugging Face έδειξε ότι η χρήση μεγάλου αριθμού agents μπορεί να δημιουργήσει μια διαφορετική κλίμακα δράσης, καθώς εκατοντάδες συστήματα μπορούν να λειτουργούν παράλληλα και να εκτελούν πολλαπλές ενέργειες σε σύντομο χρονικό διάστημα.
Την περασμένη εβδομάδα αποκαλύφθηκε επίσης ότι agents της OpenAI είχαν παραβιάσει γερμανική ιστοσελίδα την άνοιξη και την είχαν μετατρέψει σε χώρο ανταλλαγής μηνυμάτων μεταξύ AI agents.
Ανάλογα περιστατικά και στην Anthropic
Αντίστοιχες ανησυχίες έχουν προκαλέσει οι αποκαλύψεις της Anthropic. Η εταιρεία έχει γνωστοποιήσει τέσσερα περιστατικά στα οποία τα μοντέλα Claude παραβίασαν ή επιχείρησαν να παραβιάσουν εξωτερικά συστήματα.
Το κοινό στοιχείο των περιστατικών είναι η αυξανόμενη δυνατότητα των μοντέλων να λειτουργούν αυτόνομα όταν συνδέονται με εργαλεία και εξωτερικές υπηρεσίες.
Η συζήτηση για την ασφάλεια της τεχνητής νοημοσύνης μεταφέρεται έτσι από το περιεχόμενο που παράγει ένα μοντέλο στις ενέργειες που μπορεί να πραγματοποιήσει για λογαριασμό του χρήστη ή στο πλαίσιο μιας δοκιμής.
Πίεση για αυστηρότερους κανόνες
Η αποκάλυψη για τη RubyGems έρχεται σε μια εβδομάδα έντονης κριτικής προς τις εταιρείες τεχνητής νοημοσύνης και νέων εκκλήσεων για αυστηρότερα μέτρα ασφαλείας.
Την Τρίτη, ερευνητής της Anthropic ανακοίνωσε την αποχώρησή του από την εταιρεία και προειδοποίησε ότι η τεχνητή νοημοσύνη θα μπορούσε να αποτελέσει υπαρξιακή απειλή για την ανθρωπότητα μέσα στην επόμενη δεκαετία. Οι δηλώσεις του προκάλεσαν αντιδράσεις από πολιτικούς διαφορετικών πολιτικών χώρων και αναζωπύρωσαν τη συζήτηση για την ανάγκη άμεσης παρέμβασης.
Το περιστατικό της RubyGems προσθέτει μια πιο συγκεκριμένη διάσταση σε αυτή τη συζήτηση. Οι κίνδυνοι από τους αυτόνομους AI agents δεν αφορούν πλέον μόνο υποθετικά σενάρια. Αφορούν και το πώς συμπεριφέρονται ήδη τα συστήματα όταν αποκτούν πρόσβαση σε πραγματικές ψηφιακές υποδομές, ακόμη και μέσα σε περιβάλλοντα που έχουν δημιουργηθεί για εκπαίδευση και αξιολόγηση.
