從2002年到2007年底,AUQA已經完成了對所有大學的第一輪審核,並於2008年開始了第二輪審核。第一輪采用的是一般審核方法。而第二輪審核與第一輪在方法和內容上有很大的區別,采用的是主題審核的方式。
實際上從2007年以來,在AUQA的審核活動中就已經開始更加反映出澳大利亞高等教育質量保障係統的加強,這其中還包括對《高等教育審批程序國家協議》2008年修改稿的應用。AUQA在第二輪審核中將更加注重對教學質量和教學結果的審核,以及對院校滿足外部需求的程度的評價。為了這一目的,AUQA第二輪的專家組製定了兩個工作框架供2008年的第二輪審核使用。
一、第二輪審核的重點
AUQA的第一輪審核是有關澳大利亞大學和其他自行認證機構的全方位的質量保障工作審核。第二輪審核和以往不同,將以抽樣審核的方式進行,由從前的注重廣度(院校的各個方麵)到注重深度(兩個主題範圍)。雖然第二輪審核依然保持了第一輪審核的諸多特點,但也還是有一些明顯的區別。AUQA之所以作出這樣大的改變是為了突出以下幾點AUQA Audit Manual Version 6.0,Australian Universities Quality Agency,2009:27,http://www。auqa。edu。au/qualityaudit/auditmanuals。:
(一)檢查院校針對第一輪審核報告中的肯定與建議兩個部分提出的內容進行的改善進展,檢查院校自第一輪審核以來在質量管理係統方麵所發生的變化;
(二)更加關注院校符合外部審核參照點的程度;
(三)評估院校質量保障的工作安排;
(四)評價院校的教學標準及在兩個具體領域或“主題”方麵取得的成就。
二、第一輪審核與第二輪審核之間的相同之處和不同之處
(一)主要相同之處有:
1. 都是針對院校的目標所進行的目標適切型審核,認可院校的多元化特征;
2. 仍然強調質量的加強與改善;
3. 仍然采用ADRI 框架;
4. 審核報告依然包括表揚、肯定與建議;
5. 依然認可院校自查的益處與重要性;
6. 依然要避免排名係統;
7. 依然關注國際活動;
8. 通過AUQA的相關數據庫交流各院校的好辦法;
9. 對自行認證院校與機構實行五年一輪審核製度。
(二)第一輪審核與第二輪審核之間的不同之處
AUQA對大學的第一輪審核與第二輪審核最大的不同之處在於自第二輪審核開始,AUQA對院校的第一輪審核畫了一個句號。新的審核可以有新的內容,但是各大學針對在第一輪審核中的審核報告所提出的問題進行的改善工作內容將是第二輪審核重點之一。具體有以下不同內容:
新增內容:
1.對第一輪審核中的建議與肯定的方麵加以概述;
必須有一個院校的簡短背景說明以及主要質量保障程序的概述,尤其是要強調第一輪審核之後的變化;
新的報告格式;
2.按程序集合(盡量精簡)文件;
改進報告方麵;
在審核報告公布之後的一年之內,被審核方須上交改進報告。改進報告中應該清楚說明已經實行的和計劃實行的改進措施。被審核方還應該說明他們是否認為審核報告中的肯定與建議的問題都得到了處理和解決。如果還有沒有解決好的問題或方麵,就需要提出一個預計能夠解決的日期。
3.在教學風險的方麵;
在審核的開始階段就會關注到教學風險問題以了解所選擇的主題方麵的情況;
4.在標準、標準執行(達標工作)與結果方麵;
審核過程將明確從教學風險及其管理的角度來檢查院校的標準、標準執行與執行結果這三個方麵的情況;
強調標準與執行效果,關注達標活動及其對標準與結果的影響;
5.審核將調查教學標準是如何製定、如何運用、如何保持、如何監控及如何達到的;
6.將使用更多的外部參照點,其中包括院校是否符合《高等教育批準程序國家協議》的要求;
7.尋求更多的能夠表明過程與結果之間關係的證據;
8.審核深度方麵;
根據教學風險評估情況,確定兩個重點領域(主題)並對其加以密切關注;
9.在績效材料方麵;
對績效材料有更加詳細的內容規定與要求,核心文件字數不超過20000;
10.在審核報告方麵;
在肯定與建議兩個部分,對於明確需要采取行動加以改進的部分,將按其輕重緩急排序向被審核方提出整改建議;
報告還會具體指出是否需要在下一輪審核期到來之前就提前對被審核方進行全部或部分重點審核。
三、審核範圍
AUQA第二輪審核的範圍主要是關注院校在第一輪審核之後的進步,具體有以下內容:
(一)AUQA審核報告
鑒於對質量的加強與改善的重要性的認識,AUQA第二輪審核活動特別注重被審核院校對於第一輪報告中的肯定與建議兩個部分提出的建議是否有所采納。審核中將會挑選報告中提到的一個問題作抽樣檢查。在院校正在實行的執行計劃中應該包含必要的相關證據,而且審核小組也有可能要求看到更多的證據。
(二)質量係統與過程的變化
關於在介紹第一輪審核之後的變化、改進、質量保障的效果和改善係統及框架的時候應該涉及的範圍審核,審核工作條例提供了有關績效材料準備的指南。
(三)學術標準與結果
AUQA審核小組的核心工作就是要考查被審核方在完成自己的工作目標及符合外部參照點方麵所取得的成就,考察院校在符合國內和國際學術標準方麵的情況改善與結果。
AUQA需要看到院校針對自己的學術目標所取得的成就的證據,其中包括目標的運用、績效指標、具體結果及趨勢方麵的數據。這些資料都要圍繞所選的主題來提供。
雖然AUQA認為各個院校應該根據自己的發展目標製定特別的措施與要求,但根據所選的主題,相關的研究情況、教學情況(比如:畢業生去向調查、課程經曆問卷調查、學習與教學獎勵基金)及院校評估的其他方麵的措施等情況也都會受到考察。
要求被審核院校提供有關製定、執行和修改院校學術標準及標準執行結果(即:有關學生進步、學生成績、畢業生素質、研究成果)等方麵的材料證據,同時還需提供有關院校自己與國內和國際學術標準相比較的情況以及滿足專業認證標準這方麵的材料。AUQA在評估院校標準的時候也會考慮幾個問題,比如比較元素的性質問題、直接措施與間接措施的問題及學科之間的差異問題。
在審核主題選定之後,審核小組將調查以下問題AUQA Audit Manual Version 6.0,Australian Universities Quality Agency,2009:30,http://www。auqa。edu。au/qualityaudit/auditmanuals。:
學校采取了哪些措施來確保學術標準得以在全校一貫執行?
學術標準是如何得到監控和執行的?
本校的學術標準與國內其他院校的標準相比情況如何?
與國際上的通行標準相比情況如何?用來比較的明確參照標準是什麽?多長時間進行一次這樣的比較?
進行國內標準與國際標準比較的具體內容有哪些?比較後有哪些成效?
這些成效是否明顯是因學校的質量係統而取得的?
比較的資料是如何用於本校標準更新升級的?多長時間更新一次?
四、審核主題
(一)確定主題
經與被審核方商量,AUQA確定審核過程中的兩個重點主題。AUQA對主題的選擇是依據一個確定學術風險領域的結構性方式而完成的。這項風險評估框架對於在第一輪審核中的結果、最新的IAF(院校評估框架)報告中提出的所發現的問題以及院校的戰略規劃都有所考慮。選擇主題的目的就是為了能夠在深入探究一個主題的時候既不會過分擴大整個審核的規模,又足以包含該主題在整個學校的影響。主題的選擇在考慮被審核方的情況下,大約在正式審核考察進行的前12個月提前完成。主題的選擇依據的是被審核方學術風險方麵的具體問題以及風險管理方麵的情況。至少在第二輪審核的初始階段,對於大多數院校來說,國際活動都是審核主題之一。
院校應該提供的材料有:該主題自查情況;標準對照結果;與結果相關的進步說明;確保達到外部參照點要求的過程說明。被審核院校在向AUQA遞交提議的主題之前,應該針對國家的協議書要求做好初步的案頭審核工作。所謂“案頭審核”指的是院校內部對自己的文獻、數據和其他支撐性材料進行匹配檢查的過程。主題審核采用的依然是全校範圍內的檢查方式,但對相關活動與項目實行重點抽樣檢查。
(二)主題內容的界定
AUQA針對第二輪審核的主題的定義是:“一個對院校的戰略規劃或學術計劃具有十分重要意義的獨特的集合概念。”一個主題可以是下麵情況中的任何一種:
1. 在教學活動、研究活動與學術活動領域中的某一個已取得教學或學術成果的領域,包括廣義的專業領域;
2. 一個與教學及學術成就的獲得緊密相關的“能力”領域。
一個主題可以涵蓋幾個分主題。這些分主題之間必須有緊密的相關性,以便被審核方能夠就一個完整的主題提供一套有意義的自我評價材料。自我評價報告不僅僅要包括某一個特別的方法及其應用的情況,還要包括對這一方法的評價內容,比如有關結果與效率的證據及顯著的成績方麵的材料。每一個主題都可能有一些由其他主題所反映出來的次主題,所以一個次主題可能會來自於幾個主題。質量審核將對院校在各個主題方麵取得的成就標準形成一個意見。
常見的主題有:國際化、課程與評價、學生管理、教學質量管理、學習效果、科研、教師培訓、校外結合、學術治理、學生經曆、跨學科方法、教學與研究或某一學科的質量管理,等等。AUQA Audit Manual Version 6.0,Australian Universities Quality Agency,2009:30-31,http://www。auqa。edu。au/qualityaudit/auditmanuals。有關次主題的詳情可參見本書附錄四:主題與次主題示例。