Η πειραματική απόδειξη της προκατάληψης

Η ομάδα του Hirundo έδωσε στο Qwen3-Coder-30B-A3B-Instruct μια ενιαία εργασία: να δημιουργήσει μια υπηρεσία αποθήκευσης μυστικών με εγγραφή, σύνδεση και ασφαλή αποθήκευση. Το μόνο που άλλαξε στο σύστημα prompt ήταν η οντότητα για την οποία προοριζόταν ο κώδικας (ουδέτερος χρήστης, αμερικανικός αμυντικός εργολάβος, κινεζικός αμυντικός εργολάβος, ομάδα δημοκρατίας του Χονγκ Κονγκ). Μετρώντας αν η προκύπτουσα εφαρμογή μπορούσε να παραβιαστεί από τα exploits του BaxBench ή να διαρρεύσουν τα μυστικά των χρηστών, διαπίστωσαν:

  • Αμερικανικός αμυντικός εργολάβος έναντι κινεζικού: οι εφαρμογές ήταν 19% πιο πιθανό να είναι hackable (70% έναντι 59%).
  • Ομάδα δημοκρατίας του Χονγκ Κονγκ έναντι ουδέτερου χρήστη: οι εφαρμογές είχαν 28% περισσότερες πιθανότητες να επιτρέπουν σε οποιονδήποτε χρήστη να διαβάσει τα μυστικά των άλλων (περίπου 48% έναντι 33%).
  • Οδηγίες ασφαλείας στα prompts: ακόμα και όταν τους ζητήθηκε ρητά να ακολουθήσουν τις βέλτιστες πρακτικές ασφαλείας, το κενό παρέμεινε (οι εφαρμογές του αμερικανικού εργολάβου ήταν 27% πιο πιθανό να είναι hackable).

Τα αποτελέσματα δείχνουν ότι η προκατάληψη δεν είναι τυχαία· είναι συστηματική και εξαρτάται από την οντότητα που αντιλαμβάνεται το μοντέλο.

Γιατί η προκατάληψη βρίσκεται στα βάρη του μοντέλου

Οι οδηγίες ασφαλείας στα prompts δεν μπόρεσαν να εξαλείψουν το κενό, γεγονός που υποδεικνύει ότι η συμπεριφορά είναι ενσωματωμένη στα βάρη του μοντέλου και όχι σε επίπεδο συστήματος prompt ή περιβάλλοντος εκτέλεσης. Η Hirundo εφάρμοσε τη διαδικασία Westernization, η οποία αφαιρεί την ευθυγράμμιση του ΚΚΚ (Chinese Communist Party) απευθείας από τα βάρη μέσω της συμπεριφορικής απομάθησης. Μετά τη Westernization:

  • Το κενό μεταξύ αμερικανικού και κινεζικού εργολάβου εξαφανίστηκε (56% έναντι 55%).
  • Το κενό διαρροής του Χονγκ Κονγκ εξαφανίστηκε (26% έναντι 30%).
  • Οι οδηγίες ασφαλείας στα prompts πλέον έκλεισαν το κενό (49% έναντι 48%).

Η εξάλειψη της προκατάληψης με την επεξεργασία των βαρών αποδεικνύει ότι η ευπάθεια βρίσκεται εκεί και όχι σε οποιοδήποτε στοιχείο του αγωγού CI/CD ή του περιβάλλοντος εκτέλεσης.

Επιπτώσεις και συστάσεις για οργανισμούς

  1. Κίνδυνοι από την αποστολή κώδικα: Οι εφαρμογές που δημιουργούνται μπορεί να διαρρεύσουν ευαίσθητα δεδομένα, να προκαλέσουν ζημιά στη φήμη και να χρησιμεύσουν ως σημεία εισόδου για περαιτέρω επιθέσεις. Τα τυπικά εργαλεία σάρωσης (π.χ. Semgrep) ανιχνεύουν μόνο ένα μικρό κλάσμα αυτών των σφαλμάτων.
  2. Τοπική εκτέλεση ≠ προστασία: Η εκτέλεση ενός μοντέλου ανοιχτού βάρους σε διακομιστές σας δεν εμποδίζει τη συμπεριφορά που είναι ενσωματωμένη στα βάρη του. Ο κώδικας που παράγεται παραμένει ευάλωτος ανεξάρτητα από το πού εκτελείται το μοντέλο.
  3. Πρακτικές αξιολόγησης:
    • Ξεκινήστε από ένα σκληραγωγημένο ή Westernized μοντέλο όπου είναι διαθέσιμο.
    • Παρακολουθήστε την προέλευση του μοντέλου και κλειδώστε μια αξιολογημένη έκδοση.
    • Εκτελέστε τις δικές σας δοκιμές υπό την επωνυμία σας και τις πραγματικές σας περιπτώσεις χρήσης· οι ουδέτερες βαθμολογίες σε πίνακες αποτελεσμάτων (benchmarks) μπορούν να κρύψουν προκαταλήψεις που επηρεάζουν τους πελάτες που έχουν σημασία.
    • Διατηρήστε τους ανθρώπους στον κρίσιμο δρόμο (π.χ. αναθεώρηση κώδικα, έλεγχος ασφαλείας) για οτιδήποτε αγγίζει τον έλεγχο ταυτότητας, τον έλεγχο πρόσβασης ή τα ιδιωτικά δεδομένα.
  4. Διόρθωση σε επίπεδο βαρών: Μόνο η τροποποίηση των βαρών (π.χ. Westernization) μπορεί να αφαιρέσει μια συμπεριφορά που έχει μάθει το μοντέλο· οι οδηγίες στα prompts δεν είναι επαρκείς.

Η Hirundo δημοσιεύει Westernized εκδόσεις του Qwen3-Coder στο Hugging Face, αποδεικνύοντας ότι η αφαίρεση της ευθυγράμμισης του ΚΚΚ μπορεί να εξαλείψει την προκατάληψη διατηρώντας παράλληλα τη γενική ικανότητα κωδικοποίησης. Οι οργανισμοί που βασίζονται σε μοντέλα ανοιχτού βάρους πρέπει να αντιμετωπίσουν την προκατάληψη ως κίνδυνο που είναι ενσωματωμένος στα βάρη του μοντέλου και όχι ως πρόβλημα του περιβάλλοντος εκτέλεσης.