Οι άνθρωποι μπορούν εύκολα να ξεγελάσουν την τεχνητή νοημοσύνη σύμφωνα με μελέτη που χρηματοδοτήθηκε από την Apple

Μια ομάδα που υποστηρίζεται από την Apple πρότεινε ένα νέο σημείο αναφοράς, το οποίο ήδη αποκάλυψε ότι ακόμη και οι παραμικρές αλλαγές στη διατύπωση σε ένα ερώτημα μπορεί να οδηγήσουν σε εντελώς διαφορετικές απαντήσεις.

Νωρίτερα αυτό το μήνα, μια ομάδα έξι επιστημόνων τεχνητής νοημοσύνης με την υποστήριξη της Apple δημοσίευσε μια μελέτη στην οποία παρουσίασαν το GSM-Symbolic, ένα νέο σημείο αναφοράς AI που επιτρέπει πιο ελεγχόμενες αξιολογήσεις, παρέχοντας βασικές πληροφορίες και πιο αξιόπιστες μετρήσεις για τη μέτρηση των συλλογιστικών ικανοτήτων των μοντέλων. Δυστυχώς, φαίνεται ότι τα LLM εξακολουθούν να είναι πολύ περιορισμένα και να μην έχουν τις πιο βασικές συλλογιστικές δυνατότητες, αποκάλυψαν οι αρχικές δοκιμές που διεξήχθησαν χρησιμοποιώντας το GSM-Symbolic με τους κινητήρες AI της βιομηχανίας όπως το Meta και το OpenAI.

Το πρόβλημα με τα υπάρχοντα μοντέλα, όπως αποκαλύφθηκε από τις προαναφερθείσες δοκιμές, έγκειται στην έλλειψη αξιοπιστίας των LLM όταν υποβάλλονται σε παρόμοια ερωτήματα. Η μελέτη κατέληξε στο συμπέρασμα ότι μικρές αλλαγές στη διατύπωση που δεν θα άλλαζαν το νόημα ενός ερωτήματος σε έναν άνθρωπο συχνά οδηγούν σε διαφορετικές απαντήσεις από τα ρομπότ τεχνητής νοημοσύνης. Η έρευνα δεν ανέδειξε κανένα μοντέλο που να ξεχωρίζει.

"Συγκεκριμένα, η απόδοση όλων των μοντέλων μειώνεται [ακόμα] όταν μόνο οι αριθμητικές τιμές στην ερώτηση αλλάζουν στο GSM-Symbolic benchmark."

ολοκλήρωσε την έρευνα, ανακαλύπτοντας επίσης ότι

"Η ευθραυστότητα του μαθηματικού συλλογισμού σε αυτά τα μοντέλα [καταδεικνύει] ότι η απόδοσή τους επιδεινώνεται σημαντικά καθώς αυξάνεται ο αριθμός των ρητρών σε μια ερώτηση."

Η μελέτη, που έχει 22 σελίδες, βρίσκεται εδώ (αρχείο PDF). Οι δύο τελευταίες σελίδες περιέχουν προβλήματα στα οποία έχουν προστεθεί κάποιες άσχετες πληροφορίες στο τέλος, οι οποίες δεν πρέπει να αλλάζουν το τελικό αποτέλεσμα για έναν άνθρωπο που τα λύνει. Ωστόσο, τα μοντέλα τεχνητής νοημοσύνης που χρησιμοποιούνται έχουν λάβει επίσης υπόψη αυτά τα μέρη, δίνοντας έτσι λανθασμένες απαντήσεις.

Ως συμπέρασμα, τα μοντέλα τεχνητής νοημοσύνης εξακολουθούν να μην μπορούν να προχωρήσουν πέρα ​​από την αναγνώριση προτύπων και εξακολουθούν να στερούνται γενικευμένων δυνατοτήτων επίλυσης προβλημάτων.

Φέτος, παρουσιάστηκαν αρκετά LLM, όπως το Llama 3.1 της Meta AI, το Nemotron-4 της Nvidia, το Claude 3 της Anthropic, το ιαπωνικό Fugaku-LLM (το μεγαλύτερο μοντέλο που έχει εκπαιδευτεί ποτέ αποκλειστικά με ισχύ CPU) και το Nova, από την Rubik's AI, μια οικογένεια των LLMs που παρουσιάστηκε νωρίτερα αυτό το μήνα.