Ενδιαφέρουσες απόψεις

 Καταρχήν, οι “καλοί” ήδη εξαργυρώνουν τις επιδόσεις τους, επιτυγχάνοντας να προσελκύσουν περισσότερα εθνικά και ευρωπαϊκά κονδύλια για την έρευνα. Οι καθηγητές των “καλών” πανεπιστημίων βρίσκουν συχνά θέσεις στις κυβερνήσεις, σε εθνικές αρχές, σε συμβούλια κρατικών οργανισμών κλπ, διευρύνοντας τις διασυνδέσεις τους με την κυβέρνηση και εξασφαλίζοντας ευνοϊκότερη μεταχείριση τόσο σε θέματα χρηματοδότησης (ανάθεση προγραμμάτων.και μελετών) όσο και διαχείρισης των ζητημάτων των ιδρυμάτων τους.

Στη συνέχεια, δε φαντάζει πιο λογικό να δοθούν περισσότερα χρήματα και στήριξη στα ιδρύματα που δεν επιτυγχάνουν υψηλές επιδόσεις, για να μπορέσουν να φτάσουν τα άλλα; Είναι προφανές, σε όποιον έχει περάσει έστω και λίγο χρόνο σε ένα ΤΕΙ ή ΑΕΙ, ότι οι χαμηλές επιδόσεις ορισμένων ιδρυμάτων οφείλονται σε μεγάλο βαθμό και στην υποχρηματοδότηση και υποστελέχωσή τους. Εν πάσει περιπτώσει, αυτά τα ερωτήματα μπορεί να τα θέσει οποιοσδήποτε, ανεξάρτητα με το αν έχει σχέση με την παιδεία ή όχι.

Όμως ιδιαίτερα αλγεινή εντύπωση προκαλεί η πρόσφατη παρουσίαση του πλαισίου αξιολόγησης των ιδρυμάτων, με στοιχεία τα οποία το υπουργείο θεωρεί μετρήσιμα και δόκιμα. Μάλιστα, το συγκεκριμένο άρθρο, παρουσιάζει ορισμένα ενδεικτικά κριτήρια τα οποία θα χρησιμοποιηθούν. Το υπουργείο φαίνεται να προσανατολίζεται σε τρεις άξονες. Στη συνέχεια, εκφράζω τους προβληματισμούς μου για το πόσο καλά μπορούν να λειτουργήσουν αυτά. Στο τέλος, θα παραθέσω μια σύνοψη της διεθνούς εμπειρίας σχετικά με την αξιολόγηση και λίστα βιβλιογραφικών πηγών.

Άξονας 1: Ποιότητα και αποτελεσματικότητα της εκπαιδευτικής διαδικασίας.

Η αριθμητική σχέση αποφοίτων προς εισερχόμενους φοιτητές: Όσο πιο γρήγορα τελειώνουν οι φοιτητές, τόσο το καλύτερο για το ίδρυμα. Είναι ξεκάθαρο ότι κανένα ίδρυμα λοιπόν δε θα θέλει να “κόψει” φοιτητές, και κατά συνέπεια, υπάρχει ο κίνδυνος ότι οι καθηγητές θα προσαρμόσουν τα κριτήρια αξιολόγησης των φοιτητών ή και τη δυσκολία των μαθημάτων προς τα κάτω. Η εκπαιδευτική διαδικασία πλέον γίνεται “όμηρος” των αδύναμων ή και αδιάφορων φοιτητών. Εξ’αλλου, μια έκδοση του φαινόμενου αυτού βλέπουμε να γίνεται ήδη, με εξεταστικές “σκούπα” για να φύγουν οι πολλοί, με εμβόλιμες εξεταστικές για τους επί πτυχίω, με ευνοϊκότερες βαθμολογήσεις για τα μεγάλα έτη και τους αιώνιους κλπ.

Η αξιολόγηση των παρεχόμενων εκπαιδευτικών υπηρεσιών από τους φοιτητές: Είναι στα αλήθεια οι φοιτητές ικανοί και έμπειροι κριτές για να αξιολογήσουν την ποιότητα της εκπαιδευτικής διαδικασίας; Ειδικά στα πρώτα χρόνια σπουδών, πόση εμπειρία μπορεί να έχουν οι φοιτητές για το τι είναι ένα πανεπιστήμιο; Παγκοσμίως παρατηρείται το φαινόμενο της αξιολόγησης των καθηγητών ανάλογα με το βαθμό που αναμένει να λάβει κάθε φοιτητής – όταν το μάθημα είναι εύκολο, ο φοιτητής έχει θετική προδιάθεση προς τον καθηγητή και το αντίστροφο. Είναι γνωστό από τη διεθνή εμπειρία ότι οι αξιολογήσεις των φοιτητών τείνουν να είναι περισσότερο αρνητικές προς τις γυναίκες-καθηγήτριες απ΄ότι στους άνδρες συναδέλφους τους.

Η πορεία επαγγελματικής απορρόφησης των αποφοίτων: Καλείται το πανεπιστήμιο να παρακολουθεί πλέον την επαγγελματική εξέλιξη κάθε φοιτητή στο διηνεκές της επαγγελματικής του σταδιοδρομίας. Είναι απίθανο ότι αυτό μπορεί να γίνει για όλους τους φοιτητές. Και αν πούμε ότι γίνεται, με ποιό κριτήριο θεωρείται κάποιος φοιτητής “επιτυχημένος”; Μια απόφοιτος που εγκαταλείπει την προοπτική καριέρας για να αφοσιωθεί στην οικογένειά της είναι αποτυχημένη; Ένας απόφοιτος που έχει εισοδήματα από περιουσία και επιλέγει να μην εργαστεί είναι αποτυχημένος; Ένας απόφοιτος Πληροφορικής έχει τις ίδιες προοπτικές σύντομης ανεύρεσης εργασίας με κάποιον που τελειώνει Θεατρικών Σπουδών ή Ιστορία και Αρχαιολογία, κι αν πούμε ότι τις έχουν, κρίνεται ο απόφοιτος που εργάζεται στη Google πιό επιτυχημένος από αυτόν που εργάζεται ως έφορος αρχαιοτήτων;

Άξονας 2: Η ερευνητική δραστηριότητα

Ο αριθμός δημοσιεύσεων ανά καθηγητή: Είναι γνωστό ότι κάθε κλάδος της επιστήμης έχει διαφορετικές πρακτικές δημοσιεύσεων. Σε άλλους θεωρείται ότι 10 δημοσιεύσεις το χρόνο είναι λίγες, ενώ σε άλλους 2-3 το χρόνο μπορεί να είναι ενδεικτικές τεράστιας επιτυχίας. Τι σημαίνει αυτό για τους καθηγητές σχολών που εμπίπτουν στην 2η κατηγορία; Θα θεωρούνται από το ίδρυμά τους λιγότερο σημαντικοί από τους άλλους; Επίσης, οι δημοσιεύσεις ποικίλλουν σε ποιότητα – σε κάποια περιοδικά ή συνέδρια είναι πολύ πιο δύσκολο να δημοσιεύσει κανείς, άρα θα πριμοδοτείται από το κράτος η ποσότητα σε σχέση με την ποιότητα; Μια έμφαση στην ποσότητα θα έχει ως αποτέλεσμα τον επαναπροσανατολισμό της έρευνας προς “ασφαλείς” και “σίγουρες” ατραπούς, αποκλείοντας τη δυνατότητα διεξαγωγής έρευνας που είναι υψηλού ρίσκου ή μακροχρόνια. Είναι γνωστό επίσης ότι το πλήθος δημοσιεύσεων εξαρτάται από το πλήθος των διδακτορικών φοιτητών που έχει κανείς, το ύψος της διαθέσιμης χρηματοδότησης και το χρόνο που έχει διαθέσιμο για εργασίες πέρα από τις διοικητικές και τη διδασκαλία. Πως θα σταθμίζονται οι περιστάσεις κάθε καθηγητή σε σχέση με την παραγωγικότητά του σε δημοσιεύσεις;

Ο αριθμός ετεροαναφορών ανά καθηγητή: Κι εδώ είναι γνωστό ότι κάθε κλάδος της επιστήμης έχει διαφορετικές πρακτικές όσον αφορά το πλήθος ετεροαναφορών και μάλιστα, εντός του ίδιου κλάδου, οι υποπεριοχές μπορεί να διαφέρουν πολύ σημαντικά η μία από την άλλη. Η μέτρηση των ετεροαναφορών μπορεί να γίνει από διαφορετικές βάσεις βιβλιομετρικών δεδομένων και καμία τέτοια βάση δεν καλύπτει όλες τις επιστήμες ή δεν έχει όλες τις δημοσιεύσεις ενός ερευνητή. Σε χώρες που έχει χρησιμοποιηθεί τέτοια μετρική, οι ερευνητές έχουν καταλήξει σε τακτικισμούς (π.χ. να αναφέρουν στις εργασίες τους σε υπέρμετρο βαθμό άλλους συναδέλφους από την ίδια χώρα), συντονίζοντας τις πρακτικές τους και “φουσκώνοντας” το πλήθος ετεροαναφορών, ώστε να πιαστούν οι σχετικοί στόχοι. Εξ’άλλου, σε σύνδεση και με το προηγούμενο κριτήριο, τις περισσότερες ετεροαναφορές έχει πιθανότητα να συγκεντρώσει μια καινοτόμος, ριψοκίνδυνη και ριζοσπαστική έρευνα, και όχι μια έρευνα που ακολουθεί την πεπατημένη. Πως θα συμβιβαστούν αυτές οι δύο αντικρουόμενες απαιτήσεις; Ιδιαίτερα αρνητική εντύπωση προκαλεί το γεγονός ότι η κυβέρνηση φαίνεται να αγνοεί τη διεθνή διακύρηξη για την αξιολόγηση της έρευνας

(DORA https://sfdora.org/read/) αλλά και τις οδηγίες της Ευρωπαϊκής Επιτροπής (https://ec.europa.eu/research/openscience/pdf/os_rewards_wgreport. pdf#view=fit&pagemode=none, κεφάλαιο 3, στο οποίο αναφέρεται ως αδόκιμη η χρήση βιβλιομετρικών δεικτών και ότι υπάρχει ανάγκη η έρευνα να γίνει πεδίο συνεργασίας και όχι ανταγωνισμού).

Ο αριθμός συμμετοχών ενός καθηγητή ως απλός συμμετέχων ή συντονιστής σε διεθνή ερευνητικά έργα: Είναι γνωστό ότι οι υποβολές ερευνητικών προτάσεων στην Ευρώπη έχουν ένα ποσοστό επιτυχίας που δεν ξεπερνά το 10%. Η επιτυχία δεν έχει να κάνει πάντα με την ποιότητα της πρότασης, αλλά και με το ποιοί άλλοι συμμετέχουν ως εταίροι στην πρόταση. Είναι γνωστό ότι μια πρόταση έχει περισσότερες πιθανότητες επιτυχίας αν προέρχεται από εταίρους που έχουν λάβει και στο παρελθόν κάποια χρηματοδότηση. Επίσης είναι γνωστό ότι δεν υπάρχουν τα ίδια κονδύλια για όλους τους κλάδους της επιστήμης (π.χ. ευνοούνται οι τεχνολογικές επιστήμες σε σχέση με τις ανθρωπιστικές). Πως λοιπόν θα αξιολογηθεί ένα ίδρυμα ή τμήμα που έχει μεγαλύτερο όγκο νεότερων καθηγητών, σε σχέση με ιδρύματα που έχουν ή διατηρούν αναλογικά ένα μεγαλύτερο σε ηλικία πλήθος καθηγητών; Δεν αποθαρρύνεται η πρόσληψη νέων ανθρώπων με αυτό τον τρόπο;

Ο αριθμός διδακτικού και ερευνητικού προσωπικού που κατέχει θέσεις σε όργανα διοίκησης διεθνών οργανισμών. Πολύ απλά, κάποιοι κλάδοι έχουν πολλά τέτοια όργανα, ενώ άλλοι μπορεί να μην έχουν και κανένα. Η τοποθέτηση σε τέτοιες θέσεις συνήθως είναι εργασία πλήρους απασχόλησης ή αν όχι, τότε εξαιρετικά χρονοβόρα, άρα πριμοδοτούμε τους καθηγητές που εγκαταλείπουν στην ουσία τα διδακτικά και ερευνητικά τους καθήκοντα (φορτώνοντάς τα σε ποιούς άραγε;), χτίζοντας τη δική τους καριέρα και όχι συνεισφέροντας προς το πανεπιστήμιο στο οποίο εργάζονται;

 

Άξονας 3: Οι δράσεις εξωστρέφειας του ιδρύματος

Ο αριθμός σε αναλογία με τους συνολικούς φοιτητές των αλλοδαπών φοιτητών, που προσελκύονται ή αποστέλλονται μέσω προγραμμάτων κινητικότητας: Η απόφαση ενός αλλοδαπού φοιτητή να πάει σε κάποια πόλη περιέχει πολλούς παράγοντες. Ας πούμε ότι θεωρούμε το Δημοκρίτειο Πανεπιστήμιο (Θράκη) το ίδιο καλό με το Χαροκόπειο Πανεπιστήμιο (Αθήνα) – ποιό έχει περισσότερες πιθανότητες να προσελκύσει κάποιον αλλοδαπό φοιτήτή; Δεν είναι ξεκάθαρο ότι ένα τέτοιο κριτήριο είναι εκ φύσεως άνισο για τα ιδρύματα της περιφέρειας, τα οποία χωρίς υποδομές (π.χ. αεροδρόμια) και ελκυστικότητα ως προορισμό, δηλαδή παράγοντες που δεν εξαρτώνται από τα ίδια τα ιδρύματα, θα πρέπει να ανταγωνιστούν το φυσικό πλεονέκτημα των κεντρικών ιδρυμάτων;

Ο αριθμός συμφωνιών συνεργασίας με άλλα ιδρύματα της Ελλάδας ή του εξωτερικού: Το κριτήριο είναι αρκετά νεφελώδες – συνεργασίας ως προς ποιό επίπεδο; Μετράμε την ποσότητα ή το είδος και το όφελος μιας τέτοιας συνεργασίας; Και με ποιά χρήματα θα στηριχθούν τέτοιες δράσεις, όταν από τα πανεπιστήμια έχει κοπεί ακόμη και ο προϋπολογισμός που επιτρέπει σε κάποιο καθηγητή να παρακολουθήσει ένα συνέδριο έστω για να παρουσιάσει την εργασία του ή να ακολουθήσει τις εξελίξεις της επιστήμης;

 

Επίλογος

Εύκολα καταλαβαίνει κανείς από τα παραπάνω ότι το υπουργείο μάλλον δεν έχει σκεφθεί σοβαρά τι είναι αυτό που πάει να προτείνει. Βέβαια, κάποιοι κακεντρεχείς θα πουν ότι τα έχει σκεφθεί και τα προτείνει σκόπιμα. Μια απλή αναζήτηση για τους όρους “neoliberal university” θα βάλει σε σκέψη και τον πιο καλόπιστο, καθώς ακριβώς αυτή η συνταγή είναι που χρησιμοποιείται σε πολλές χώρες για να περιορίσει την πρόσβαση στην εκπαίδευση, να κλείσει σχολές, τμήματα και ιδρύματα, και να αποδυναμώσει την ποιότητα της δημόσιας εκπαίδευσης προς όφελος των ιδιωτικών εκπαιδευτικών ιδρυμάτων. Τυχαίο; Ένα άλλο σημαντικό ζήτημα είναι ότι οι διαδικασίες αξιολόγησης με τέτοιο επίπεδο και σε τέτοια λεπτομέρεια έχουν ένα τεράστιο κόστος (στη Βρετανία, το REF2014 κόστισε >246 εκατομμύρια λίρες). Τόσο χρηματικό για το υπουργείο, το οποίο θα πρέπει να κόψει χρήματα από την εκπαίδευση για να τα κατευθύνει προς τις ανάγκες της αξιολόγησης (π.χ. αποζημιώσεις αξιολογητών, επενδύσεις σε υλικοτεχνική υποδομή, μελέτες επίπτωσης της αξιολόγησης), όσο και για τους καθηγητές και τα ιδρύματα, καθώς η γραφειοκρατία που θα δημιουργηθεί για να υποβάλλονται τα σχετικά στοιχεία θα είναι τεράστια, και φυσικά θα “φάει” από το χρόνο που υπάρχει διαθέσιμος για διδασκαλία και έρευνα. Καλώς ή κακώς, οι σχεδιασμοί του υπουργείου περιέχουν σοβαρούς κινδύνους. Για τους καθηγητές, καθώς θα αναγκαστούν να υποβαθμίσουν ή να περιορίσουν την ερευνητική και εκπαιδευτική τους δραστηριότητα, για να πετύχουν τους “στόχους” των όποιων κριτηρίων. Για τους φοιτητές, γιατί θα είναι οι αποδέκτες όλης της πίεσης που θα δεχθούν οι καθηγητές, λαμβάνοντας ένα χαμηλότερο επίπεδο μόρφωσης. Για την κοινωνία, γιατί η ποιοτική εκπαίδευση θα περιοριστεί σε ένα μικρό πλήθος ιδρυμάτων και φοιτητών.

 

Σύνοψη της εμπειρίας από τη διεθνή βιβλιογραφία Στη Βρετανία όπως και σε άλλες χώρες, έχουν εφαρμοστεί συστήματα αξιολόγησης και σύνδεσης της χρηματοδότησης με αυτή. Η εμπειρία που έχω, προσωπικά ως πρώην μέλος ΔΕΠ εκεί, αλλά και συνεχιζόμενα από τους συναδέλφους που έχω και ακόμα συνεργάζομαι, είναι ιδιαίτερα πικρή. Αποτυπώνεται όμως καλύτερα από την εμπειρία που καταγράφεται σε μελέτες και άρθρα καταξιωμένων συναδέλφων σε έγκυρα περιοδικά, και την οποία συνοψίζω στη συνέχεια.

Γενικότερα, η μεταστροφή προς ένα μοντέλο της αγοράς, όπου ο φοιτητής αντιμετωπίζεται ως καταναλωτής εκπαιδευτικών υπηρεσιών, και το ίδρυμα ως πάροχος ο οποίος εξαρτάται από τους φοιτητέςκαταναλωτές για τη χρηματοδότησή του, υποβαθμίζει την ποιότητα της εκπαίδευσης μέσω της προσαρμογής (χαλάρωσης) των ακαδημαϊκών κριτηρίων ώστε να μεγιστοποιούνται οι φαινομενικές επιδόσεις των φοιτητών (pass rates), σε προ- και μεταπτυχιακές σπουδές, ειδικά εκεί που υπάρχουν δίδακτρα (Bunce et al. 2017, Molesworth et al. 2009).

Ειδικότερα, αναφορικά με τη σύνδεση της χρηματοδότησης με την αξιολόγηση (μέσω του Research Excellence Framework – REF), ιδιαίτερα προβληματικό μπορεί να αποδεικνύεται το ίδιο το πλαίσιο αξιολόγησης. Προβλήματα στην αξιοπιστία της αξιολόγησης προκύπτουν από την υπερβολική έμφαση σε ποσοτικές μετρικές (π.χ. h-index, impact factors) (Kelly, 2016). Η αξιολόγηση μέσω peer review (που είναι και η δυνητικά αντικειμενικότερη) είναι υπερβολικά ακριβή διαδικασία για μια μικρή χώρα, σε σχέση με τη χρήση υποδεέστερων πλαισίων αξιολόγησης που βασίζονται αποκλειστικά σε ποσοτικές μετρικές (π.χ. h-indexes, impact factors, έτη αποφοίτησης, βαθμοί αποφοίτησης κλπ.) (Geuna & Piolatto 2015). Η ενασχόληση με το ίδιο το πλαίσιο αξιολόγησης (προετοιμασία και υποβολή) αποτελεί ιδιαίτερα χρονοβόρα και επίπονη γραφειοκρατική διαδικασία, τόσο από την πλευρά των ιδρυμάτων και των ακαδημαϊκών όσο και από την πλευρά του κράτους (Schäfer 2016), με το κόστος του REF2014 να ξεπερνά τα £246εκ. Το ίδιο το σύστημα αξιολόγησης έχει κατηγορηθεί πως είναι αρκετά αδιαφανές, καθώς οι κανόνες αξιολόγησης δεν ήταν εκ των προτέρων γνωστοί, με αποτέλεσμα να υπάρχει η γενικευμένη άποψη ότι οι κανόνες χρηματοδότησης τροποποιήθηκαν (ή κατασκευάστηκαν) εκ των υστέρων για να ωφεληθούν συγκεκριμένα ιδρύματα (Kelly 2016).

Για την προετοιμασία υποβολών στα συστήματα αξιολόγησης, τα ιδρύματα καταλήγουν σε τακτικισμούς για να μεγιστοποιήσουν τα δυνητικά ωφέλη τους από την αξιολόγηση, επιδιδόμενα σε ένα αγώνα δρόμου για την αποτύπωση της πιο ωραίας (και όχι της αντικειμενικής εικόνας. Ένα τέτοιο παράδειγμα είναι η επιλεκτική συμπερίληψη ορισμένων μόνο μελών ΔΕΠ στην υποβολή και η απόκρυψη του έργου των υπόλοιπων. Οι τακτικισμοί, η επιρροή σε επίπεδο κεντρικής κυβέρνησης αλλά και ο διαγωνισμός των πανεπιστημίων για συμβολική ισχύ (που μεταφράζεται και σε χρηματική ισχύ) καταλήγουν σε ένα φαινόμενο συγκέντρωσης των πόρων σε λίγα μόνο ιδρύματα (“Matthew effect”), επιτείνοντας την ανισοκατανομή και επιδεινώνοντας τις προοπτικές λιγότερο καλά διασυνδεδεμένων ιδρυμάτων (Marques et al. 2017, Marcella et al. 2016, Papatsiba & Cohen 2019).

Ανάμεσα στη συζήτηση για την ανάδυση του φαινόμενου της υπερσυγκέντρωσης πόρων σε λίγα ιδρύματα, ενδιαφέρον έχει η ανάλυση της επίπτωσης στους ακαδημαϊκούς. Παρατηρείται η συρρίκνωση της ακαδημαϊκής τους ελευθερίας (Irvine et al. 2016, Schäfer 2016), η απαξίωση της έρευνας που είναι διεπιστημονική, υψηλού ρίσκου και μακροχρόνιας διάρκειας προς όφελος των βραχυχρόνιων και λιγότερο καινοτόμων μελετών (Stern 2016), το κλείσιμο τμημάτων, η δημιουργία μιας αγοράς βιογραφικών (μεταγραφές) που απορροφά δυσανάλογα πολλούς πόρους και μειώνει τις προοπτικές εξέλιξης ή μετακίνησης για όσους δεν είναι “αστέρες» (McNay 2016), αλλά και η δυσανάλογη κατανομή των μισθών προς όφελος των ανώτερων βαθμίδων (De Fraja et al. 2016). Ιδιαίτερη επίδραση του πλαισίου αξιολόγησης με βάση τις ερευνητικές επιδόσεις είναι η υποβάθμιση του ρόλου της διδασκαλίας, ο συνεχής φόβος των μελών ΔΕΠ για επιβολή κυρώσεων στην περίπτωση μη ικανοποιητικής επίδοσης, και η δυσανάλογα αρνητική επίπτωση στους νέους ερευνητές / μέλη ΔΕΠ και στις γυναίκες (Arnold et al. 2018). Για μεγάλο ποσοστό των μελών ΔΕΠ που δεν κρίνονται κατάλληλοι για την ωραιοποίηση της εικόνας του πανεπιστημίου και δε συμπεριλαμβάνονται στην υποβολή, οι προοπτικές εξέλικης εντός και εκτός του ιδρύματος εξανεμίζονται, καθώς τα τμήματα Human Resources των ιδρυμάτων χρησιμοποιούν το REF σαν υποκατάστατο της εσωτερικής αξιολόγησης (Stern 2016).

 

Αναφορές

Arnold, E., Simmonds, P., Farla, K., Kolarz, P., Mahieu, B., & Nielsen, K. (2018) Review of the Research Excellence Framework: Evidence Report https://assets.publishing.service.gov.uk/government/uploads/sys tem/uploads/attachment_data/file/768162/research-excellenceframework-review-evidence-report.pdf

Bunce, L., Baird, A., & Jones, S. E. (2017). The student-as-consumer approach in higher education and its effects on academic performance. Studies in Higher Education, 42(11), 1958– 1978. https://doi.org/10.1080/03075079.2015.1127908

De Fraja, G., Facchini, G., & Gathergood, J. (2018). Academic Salaries and Public Evaluation of University Research: Evidence from the UK Research Excellence Framework (SSRN Scholarly Paper No. ID 2815174). Retrieved from Social Science Research Network website: https://papers.ssrn.com/abstract=2815174

Geuna, A., & Piolatto, M. (2016). Research assessment in the UK and Italy: Costly and difficult, but probably worth it (at least for a while). Research Policy, 45(1), 260– 271. https://doi.org/10.1016/j.respol.2015.09.004

Kelly, A. (2016). Funding in English Universities and its relationship to the Research Excellence Framework. British Educational Research Journal, 42(4), 665–681. https://doi.org/10.1002/berj.3229

Marcella, R., Lockerbie, H., & Bloice, L. (2016). Beyond REF 2014: The impact of impact assessment on the future of information research. Journal of Information Science, 42(3), 369– 385. https://doi.org/10.1177/0165551516636291

Marques, M., Powell, J. J., Zapp, M., & Biesta, G. (2017). How does research evaluation impact educational research? Exploring intended and unintended consequences of research assessment in the United Kingdom, 1986–2014. European Educational Research Journal, 16(6), 820– 842. https://doi.org/10.1177/1474904117730159

McNay, I. (2016). Imbalancing the academy: The impact of research quality assessment, di Ian McNay. AIS, (8), 119– 149. https://doi.org/10.1485/AIS_2016/8_OTTOBRE_3366461

Molesworth, M., Nixon, E., & Scullion, R. (2009). Having, being and higher education: The marketisation of the university and the transformation of the student into consumer. Teaching in Higher Education, 14(3), 277– 287. https://doi.org/10.1080/13562510902898841

Papatsiba, V., & Cohen, E. (2019). Institutional hierarchies and research impact: New academic currencies, capital and position-taking in UK higher education. British Journal of Sociology of Education, 0(0), 1–
19. https://doi.org/10.1080/01425692.2019.1676700

Schäfer, L. O. (2016). Performance assessment in science and academia: Effects of the RAE/REF on academic life. CGHE working papers. https://www.researchgate.net/profile/Len_Ole_Schaefer/public ation/307546295_Performance_assessment_in_science_and_academia_effects_of_the_RAEREF_on_academic_life/links/57c8258208ae28c01d51acd6 .pdf

Stern, N. (2016) Building on Success and Learning from Experience An Independent Review of the Research Excellence Framework. https://assets.publishing.service.gov.uk/government/upload s/system/uploads/attachment_data/file/541338/ind-16-9-ref-sternreview.pd