一、AUQA的審核對象
AUQA在成立之時製定的章程對其審核對象就有所規定。由於近年來AUQA的審核活動取得了顯著的成就,對國內的高等教育發展發揮著越來越大的影響,因此,無論是政府還是高等教育界的有關學者都曾進行過討論,並認為為了統一國內質量審核工作的標準及質量,可以擴大AUQA的審核範圍,即除了自行認證的高等教育機構,也就是大學和認證機構之外,從事職業教育與培訓的教育機構也應該列入AUQA的質量審核範圍之內。但是自2001年AUQA開始運作以來至目前,AUQA 的主要審核對象還是以下麵四個方麵的機構為主:
(一)澳大利亞所有自行認證的高等教育機構(SAIs)(所有大學都在其中)。
(二)聯邦、州及領地的官方認證部門(認證機構)。
(三)根據2003年聯邦高等教育支持法案(HESA)獲準成為高等教育提供者的澳大利亞非自行認證的教育機構(HEPs)。(這些教育機構可以選擇由AUQA審核,也可以選擇由在HESA領導下的以高等教育機構指導者名義設置的其他機構進行審核。)
(四)其他高等教育機構。(根據合同AUQA可以對其他高等教育機構進行質量審核,但具體安排將根據AUQA與被審核方或其他相關部門之間的合同規定而單獨製定。)
到2007年底,AUQA完成了第一輪對所有自行認證的教育機構(SAIs)以及認證機構的審核。從2008年起,它啟動了對現有的SAIs 的第二輪審核,但是審核的範圍及性質有所調整。對認證機構的第二輪審核於2010年啟動。AUQA也對任何一所新近根據澳大利亞高等教育審批程序協議書要求而獲得批準成立的自行認證的高等教育機構(SAIs)進行審核。
二、AUQA的審核方法
AUQA對高等教育機構及認證機構的質量審核采用的是從美國的卓越管理模式中引進的ADRI方法。ADRI 是Approach(路線)、Deployment(實施)、Results(結果)、Improvement(改善)這4個英文單詞首字母的合並,代表的是AUQA 審核所關注的被審核院校或機構的組織路線、目標實施、工作結果及工作改善這四個方麵。AUQA對所有機構進行的質量審核都是從這四個方麵來著手進行檢查的。因此,AUQA對機構進行審核後所完成的審核報告,也是從這四個方麵來展開情況介紹的。
AUQA之所以選擇這四個方麵進行審核,是源於其對質量管理方法的一種認識。就人們對於質量管理的認識過程而言,經曆了從20世紀50年代的“質量控製”到80年代的“質量保障”,再到今天的“追求質量的持續改善”這樣的一個過程。AUQA采用ADRI這種方式就是“要把質量管理看成是一個綜合係統的管理,從而使一個組織能不斷地反省自己的工作並不斷地對其加以改善”Australian Universities Quality Agency Audit Manual Version 6.0,2009(6):5,http://www。auqa。edu。au/qualityaudit/auditmanuals。。
具體來說,在“Approach(路線)”這方麵的檢查,指的是對被審核院校的組織使命、願景、價值觀(即它的總體目標)及有關實現這些使命、願景及理想的具體目標和工作計劃的全麵考察。這些工作目標和計劃一般都是通過書麵文件來表達和展現的。具體需要確定的是:
1.該組織是一個什麽組織?
2.它要取得一個什麽樣的目標?
3.在其設立組織目標的時候是否有所參照,如果有(無論是外部的還是內部的),參照了什麽?
4.該組織計劃如何去實現自己的目標?
5.它是否清楚自己的背景和能力?
6.該組織目標的設定是否具有合理的基準依據?
7.它製定了哪些必要的風險管理程序?
8.它的路線設置是否與組織中的人員乃至更多的相關人員商談和溝通過?Introduction to AUQA。Audit Manual 6.0 Australian Universities Quality Agency。6.0,2009(6):6,http://www。auqa。edu。au/qualityaudit/auditmanuals。
在審核過程中,為了了解被審核院校或機構的工作路線,AUQA審核小組會與被審核方人員談論到關於學校目標製定的方法、製定過程考慮的因素以及他們所谘詢的利益相關人員等方麵的情況。
在“Deployment(實施)”這一方麵,審核人員關注的是被審核院校或機構的組織路線是否被執行及執行辦法與效果如何。一般的審核問題包括:
1.組織路線是否以最佳的方式得以執行?有何依據?
2.該組織是根據什麽標準及基準來評估執行效果的?
3.如果組織路線沒有得到執行,其原因是什麽?這個問題又是如何處理的?
4.員工是否都受到一定的有關組織路線與工作目標的教育與培訓?在實現工作目標時,是不是所有的資源都得到了較好的運用?
在“Results(結果)”這一方麵,審核人員主要關注被審核機構的工作成果,以此來確定該組織在實現其計劃目標時的工作是否開展得有效。通常提出的問題有:
1.該組織是否正在達到計劃的目標並已經取得預期的成效?
2.該組織是否了解自己為什麽能夠取得這些成就,以及是如何取得這些成就的,即:確定這些成就是不是通過他們的工作目標及工作努力所帶來的?
3.這些成就在組織內部是如何報道、如何使用的?
在“Improvement(改善)”方麵,審核人員主要關注該組織是否一直都在積極地致力於了解自己在A-D-R三個方麵的表現狀況,是否運用這些相關的情況來進行一些改善。大概提出的問題包括:
1.該組織是否明白自己應該如何改善?
2.它是如何知道的?
3.在明白了自己的改善目標後是如何采取行動的?
4.該組織是否擁有持續改善的傳統?
AUQA之所以采用這樣的審核模式是基於以下幾方麵的認識:
首先,AUQA認為學校的工作具有深刻的複雜性,僅僅根據一兩個方麵,甚至是三個方麵的情況來對某一個問題進行質量審核,那也是完全不夠的。比如“工作開展”的情況,如果不考慮工作開展的目標是什麽以及它是否真的在實施目標,那僅僅審核這一個方麵的情況是不夠的,也是沒有意義的。同樣,僅僅審核結果也是不夠的,因為各方利益相關人,甚至組織自身都需要確定一下某項成果的取得是因為工作目標設計而取得的,而不是偶然取得的。而且,即使某一項工作成果非常的引人注目,但如果工作開展得更加有效的話,或許工作成就會更好。因此,AUQA審核小組既關注過程也關注結果。
其次,高等教育機構的質量保障既有內部的保障也有外部的保障。這兩個保障應該被看成是、也應該被用做為一個單獨的整體的兩個部分。把這兩個保障活動整合為一體的目的就是要確保學院機構及被審核的其他部門所取得成就的質量。考慮到這一點並為了做到這一點,AUQA 采用的ADRI質量審核框架為質量審核工作提供了一個係統性的方式。
再次,為了評價院校質量保障過程是否有效果,對於外部審核機構來說有一點是很重要的,那就是要對院校或機構實施這些程序所取得的成就進行調查,因此他們也還要檢查這些院校或機構在使命的完成和目標的實現方麵達到了什麽程度(或者對於某個認證機構來說,它在什麽程度上滿足了法律對它的職能要求)。受審核院校或機構也應該有一個運行的檢查機製以提供相關證據表明該程序在應用而且還能夠奏效,從而相關目標也能夠達到或是針對某些不足之處已具有改善計劃。
最後,人們一般認為所有的外部檢查,無論是審核、認證還是評價,都是創造性之大敵,因為就人們認可的方法與結果而言,從謹慎的角度來看,有創造性總是太容易出錯。AUQA為了避免這種風險,則鼓勵院校或機構去設置具有自己特色的質量管理係統,對檢查欄目中的內容也可以做一些適當的修正,而不需要大家都一成不變地遵循它。
三、審核步驟
AUQA質量審核的大致步驟如下:
(一)挑選接受審核的院校或機構及審核小組成員;
(二)與被審核院校或機構的人員討論各項審核規定;
(三)被審核院校或機構作審核準備及遞交自查報告(績效報告文件包);
(四)審核小組召開會議討論文件包(即文件包會議),隨之審核小組提出需要更多相關文件的要求;
(五)在正式審核考察之前進行預備性考察或以其他形式對被審核方的工作安排予以肯定;
(六)正式審核考察,在此之前也會到被審核方的其他校區進行一些實地考察;
(七)審核報告的準備及定稿;
(八)善後工作安排。
有關AUQA的詳細審核工作程序,可參見本書附錄一。
四、審核結果
AUQA的審核結果是一份對審核情況進行分析的審核報告。
在審核結束之後,AUQA要完成一份有關審核結果的公開的書麵報告。報告要對AUQA通過對審核過程中所收集的資料進行詳細分析所得出的審核結果作一個大概的介紹。報告中要指出被審核院校或機構所值得稱讚的做法和需要進一步改善的方麵。報告不對任何個人作任何評價(無論是正麵的還是反麵的),也不會訴求於任何不相幹的標準。報告盡量涉及所有相關領域但又不會過度追求細節材料。審核報告中不會包含內容不實在的評論或判斷。因此,如果審核小組認為需要對某一件事作評論,就一定會提供支撐這一評論的相關證據,而且,隻要有明確的判斷就會明確表達,觀點確定、態度明朗,避免含蓄與曖昧。
審核報告是一個公共性文件,版權屬於AUQA,不屬於審核小組或小組成員。小組是代表AUQA執行審核的,因此,隻有AUQA才能夠確定報告的結論和在報告中作任何的評論。隻有AUQA的執行總裁及董事會的董事長才能被授權對審核工作及審核報告作公開發言。如果AUQA是與某機構簽約進行審核工作的,那麽審核報告的所有權就歸簽約機構。但是AUQA依然保留介入審核報告事宜的權利,比如在AUQA認為某個簽約機構或其他方麵的人對報告有公開的不當引用的情況下。
(一)審核報告內容與格式
AUQA的審核報告包含了對審核結果的總結及對各方麵工作的詳細評論。報告包括三個部分:表揚、肯定、建議。被審核方的績效報告中的一些主要方麵內容也有可能在審核報告中得到反映。在審核涉及的每一個領域,報告所要考慮的是:所調查的問題;被審核方在本領域的目標;相關的證據;小組的分析與結論。
表揚(Commendations):審核小組人員在進行調查時,對於發現被審核單位值得表揚的做法和發現其需要改善的地方要一樣用心。所以報告中通常會包括被審核院校的突出優點,在全文中也不乏其他的讚美之辭。
肯定與建議(Afirmations and Recommendations):審核報告中的“建議”指的是審核小組認為需要改進的地方。這些建議是要提請被審核方對某一領域多加注意,而不是指示他們在哪一方麵要采取什麽樣的行動。然而,審核小組也會提供一些可能的方式和方法的建議。有些建議也可以被看做是被審核方首先要解決的問題。與“建議”不同的另一個類別是“肯定”。“肯定”指的也是審核小組認為需要改善的領域,但該領域已經由被審核方意識到,並在其績效報告中將它列為需要注意的問題。肯定方麵,和表揚與建議方麵一樣,也是由審核小組以同樣的方式確認的,所以被審核方一旦要確認“改善已經完成”,他就必須要拿出自己所實施的過程和足夠的證據來證實這一點。而且,審核小組也會與被審核方一起就所采取的行動進行討論並對其可能產生的效果發表意見。
有關審核報告的詳細內容,可參見本書附錄二:AUQA2009年公布的關於澳大利亞昆士蘭大學和科廷大學的審核報告(目錄)。
(二)撰寫審核報告
AUQA規定撰寫審核報告是審核小組中的AUQA工作人員的任務。在撰寫過程中,工作人員必須反反複複地與所有其他成員共同協商,以使他們有充分的機會及時發表意見。
(三)批準審核報告
當小組全體成員對報告都感到滿意時,報告就可以定稿。定稿會交到被審核院校或機構的CEO手中以便確認報告中是否有事實出入,並請他就報告的重點和表述方式發表意見。該定稿也同樣會交一份到AUQA董事會主席的手中。被審核院校可以就以下幾個方麵提出意見:
1.對報告中的相關內容提供準確的旁證材料。
2.對於報告中的某一問題作出解釋。
3.對報告中的觀點提供背景推理材料和證據。
4.提出需要作恰當修正的詞語。
審核組長負責把被審核方的意見交給小組其他成員及AUQA的執行董事長。在與小組長協商之後,審核組長拿出一個最終報告的初稿,就其與執行董事長和小組長商量,也可以從被審核方得到一些意見。
(四)AUQA董事會對審核報告應承擔的責任
AUQA規定其董事會對審核報告的批準負有全權責任。在審核報告定稿被交到被審核方手中的時候,還有一份也會送到AUQA董事會去征求意見。一旦報告得到最後定稿就會送到董事會以獲得通過(批文通常是以通信方式送達)。
作為AUQA的管理機構,董事會負責製定AUQA的工作條例並要確保這些條例規定得到執行。對審核報告尤其如此,審核報告是AUQA核心活動的對外門麵,董事會要對其負最終的責任,所以每一份審核報告的對外公布,都必須由董事會批準。一份審核報告是一個複雜而又需要多方配合的工作的成果。這一過程包括:對審核文件的參考、對調查事物的判斷、進行審核訪談以及經過詳細的討論得出一個均衡恰當的結論。由於董事會的成員沒有介入任何的審核過程,所以董事會一致同意在考慮審核報告公布問題時,董事們除了自己在審核報告中所閱讀到的內容以外,不能參照其他任何的外部證據,也不能提問或修改報告中的內容,除非是指出報告中與事實不符的地方。在這樣的規定之下,董事會成員的責任就是:
1.確保AUQA的條例規定得到執行。
2.指出那些有冒犯法律條文之嫌的話語(比如:詆毀或商業機密的泄露)。
3.如果他們認為某一份審核報告沒有達到AUQA所要求的認真徹底的標準,也可以發表看法。AUQA Policies 024 Review of Audit Report,www。AUQA。edu。au/aboutauqa/polies/024.
然而,作為報告的獨立閱讀者,董事會成員也可以就報告是否表達清楚、論據是否充分等方麵發表看法。由於董事會成員和被審核院校或機構是在同一時間閱讀報告定稿,所以他們真正能夠對報告作上述修改的範圍實際上是非常有限的,但是隻要合適與可能,小組都會作相應的修改。董事會成員所提出的任何意見都會由工作人員記錄在案,以便與今後的審核工作聯係起來整體加以考慮。在經過較長一段時間以後,董事會成員也會就審核報告之間的一致性問題向執行董事長提出自己的看法。
(五)報告的公布
根據AUQA的章程規定,AUQA的審核報告屬於公共文件。在報告對外公布的大約兩周之前,在最終報告得到董事會的批準之後,被審核方的CEO會收到一份審核報告。被審核方會有一定的時間準備自己希望就該報告及審核結果對外發表的一些消息。同時這也使得被審核方有機會對報告內容作一個檢查。審核小組中的AUQA工作成員負責與被審核方共同商定對外公布審核報告的日期。
在審核報告被公布的前幾天,AUQA會以保密運送的方式向所選定的幾家媒體送去審核報告,以便他們的報告有足夠的時間為發布日的報道作準備。有些被審核方也會以同樣的方式向自己的媒體發送審核報告,對此,AUQA並不表示反對。
AUQA在對外發布審核報告的時候,也同樣會向一些個人發送報告,這其中包括審核小組成員和AUQA成員,還會將報告連同適當的說明一起發給一些大眾媒體,以便他們發布新聞。報告同時還會被掛在AUQA的網站上。通常AUQA不會以訪問被審核方的形式來正式發布對其的審核報告。
審核報告公布以後,AUQA就會邀請被審核方的聯絡員提供一些有關審核程序的反饋意見。AUQA董事會主席也會給被審核方的CEO打電話,口頭征求他們對審核報告的反饋意見。審核小組成員會收到書麵調查表以反映自己的看法,同時也可以非正式形式向在小組裏的AUQA工作成員或AUQA的執行董事長反映自己的意見。這種廣泛的意見征求工作,反映了AUQA自身的質量改善意識。有關對報告的反饋意見會定期送交AUQA董事會。
(六)審核報告的應用
無論是社會、聯邦政府、州或領地政府還是AUQA,都希望被審核院校或機構能夠根據AUQA提供的審核報告,尤其是在肯定和建議這兩個項目下的內容,采取各種必要的行動。因此,AUQA對每一個被審核的院校根據審核報告提出的問題進行改善的進程實行監控。聯邦政府、州或領地政府的相關機構對此進展也要有所記錄。
在對非自行認證的高等教育項目實施審核的情況下,教育、就業及勞資關係部(DEEWR)會在審核報告公布之後,與各個被審核方聯係,要求他們向教育、就業及勞資關係部報告審核結果及說明他們將根據審核報告提出的問題和建議作出哪些整改。部長將會根據高等教育支持法案(HESA)19-20條強製這些高等教育項目按報告中提出的建議采取行動。
AUQA對於被審核院校或機構的進步始終會保持關注,但通常卻隻需要被審核方遞交一次正式的審核後報告。在AUQA通過審核而向被審核方提出的他們需要盡快采取措施的幾個方麵,AUQA會與被審核方進一步討論並要求他們遞交一份有針對性的關於初步行動所取得的結果方麵的報告。如果雙方認為有必要的話,審核方與被審核方都可以要求就所整改的問題遞交一小套績效材料,甚至要求進行一次有針對性的審核。
(七)改進報告
每一個被審核院校或機構都需要提交一份有關針對審核報告中的肯定與建議兩個部分提出的要求進行相應整改的情況的報告。AUQA要求這種報告必須充分而詳細,必須確保讓一個知情人在閱讀審核報告和改進報告之後,能夠明白被審核方做了什麽以及這些做法是否針對了AUQA審核報告中所提出的問題。AUQA不會將改進報告公之於眾,也不會對其進行“審核”,AUQA關注的是改進報告是否清楚地說明了本院校或機構針對審核報告中的肯定與建議這兩個部分提到的內容采取了行動與措施。如果AUQA對報告中的清楚程度感到不夠滿意,必要時可以要求被審核方作公開改進回應報告。
改進報告必須在被審核方自己的網站上登出,而且要一直放在網上直到下一次的審核開始為止。其間,報告內容可以允許進行升級更新並在每一次的升級更新時向AUQA做書麵報告。在改進報告於網站上登出的時候,被審核方須向AUQA報告其網址。AUQA會在自己的網站上建立一個與改進報告的鏈接。所有參加了第一輪審核的院校和機構都必須在對其進行的審核報告公布之後的12~18個月內,公布自己針對審核報告提出的問題所進行的整改情況的報告。
對於2008年1月以後接受審核的院校和機構來說,在對其進行的審核報告公布之後的12個月,或根據報告中所規定的更短的時間內,必須公布其改進報告。
五、審核特點
AUQA 的審核重在評價院校在質量保障方麵所做的工作安排,具體有以下幾個方麵:即路線、實施、結果及改善(Approach,Deployment,Results,Improvement),也簡稱為ADRI。AUQA 不是將一套外部指定的規定標準強加於被審核院校,而是將其作為審核的一個基本起點來審核該組織自身的目標。AUQA注重實現目標的進展程度,關注的是院校對目標完成情況進行的監控與改善績效的方法。AUQA的審核總是以院校或機構根據AUQA的要求而進行的自查(或稱自評、自審或自研)為基礎。自查不僅能夠使被審核院校為AUQA所要求提供的信息資料做好準備,甚至在AUQA還沒有介入的情況下,院校就已經取得了不少的改善。
此外,AUQA在考慮被審核院校所設定的工作目標的同時,還要關注院校對高等教育質量有效保障所需要進行的外部和專業參照點的使用情況。高等院校的教學工作及其保障該項工作質量的過程必須與國家和國際上的標準相符合,認證機構的工作也必須如此。國家及其部門機構頒發了不少有關高等教育各個具體方麵的工作指南、操作守則、執行手冊。AUQA將會調查各院校是否認真使用了這些指南並對工作作了相應的調整,還要調查院校在這方麵的工作目標的完成情況。AUQA將會搜集證據以證實院校考慮到了相關的外部參照點的要求並對此采取了相應的行動。對於澳大利亞高等教育提供者來說,這些外部目標包括認可該機構的任何法令和規定中所規定的要求,以及其他相關的法律、《高等教育機構批準程序國家協議》中所提出的要求。《澳大利亞質量框架》也是澳大利亞高等教育運行所必須參照的重要指導性標準之一。認證機構的目標包括《高等教育機構批準程序國家協議》和各種其他法令中提出的要求,而對於非自行認證院校(NSAIs)的審核則根據院校目標以及一係列由教育、科學培訓部頒發的高等教育提供者質量審核手冊中提出的質量審核要素進行審核。AUQA對州、領地的高等教育認證機構的審核特別注意其認可和認證的過程。要確定這些過程是否與國家高等教育審批程序協議書提出的要求一致,這些機構的評判與其他州和領地機構的評判是否一致。
六、AUQA的其他質量保障工作
AUQA是一個非常積極活躍的組織。根據AUQA的章程規定,AUQA除了進行質量審核工作之外,還從事一些其他方麵的質量保障宣傳與促進方麵的工作,具體有:
(一)編輯與出版有關高等教育質量保障的理念與實踐方麵的資料。
(二)通過AUQA先進辦法數據庫確認、記錄、編號整理並傳播高等教育界有關質量保障的先進做法。
(三)提供有關質量保障與改進的建議與谘詢。
(四)從事及出資聘請有關專家從事有關質量、標準與達標的研究。
(五)發現和調查當前國內高等教育界在質量與標準方麵出現的問題。
(六)通過電子討論名單或其他手段協助院校人員在網上討論質量問題。
(七)領導澳大利亞大學質量論壇組織。
(八)主辦學習班和培訓班。
(九)出版論文和文章。
(十)向政府或其他機構遞交有關報告。
七、AUQA的政策與規定
質量審核工作是一個係統工程,涉及的工作範圍廣、頭緒多,而政策是各項工作得以順利有效進行的保障。為了確保各個環節的工作能夠照章進行,AUQA對其各項工作都製定了詳細的規章製度,以確保其工作效率和工作質量,AUQA具體的工作條例有:
(一)關於榮譽審核員的行政安排規定policy 001
(二)有關海外活動審核的規定policy 002
(三)關於AUQA董事會及其成員的責任的規定policy 003
(四)關於車輛費用的規定policy 004
(五)關於利益衝突的規定policy 006
(六)關於信息自由的規定policy 011
(七)關於審核小組中觀察員的規定policy 016
(八)關於信息保密與信息自由的規定policy 020
(九)關於審核報告檢查的規定policy 024
(十)關於改進情況報告的規定policy 026
(十一)關於出差旅行住宿的規定policy 027
(十二)關於信息的傳播的規定
(十三)關於審核訪談安全性的規定
(十四)關於參加AUQA董事會會議的觀察員的規定
(十五)關於審核小組中觀察員的規定
有關AUQA的部分政策與規定的內容可參見本書附錄三。
§§第五章 AUQA的審核方法與程序