[讀書] 數位參考服務評估

Bridgewater, R., & Cole, M. B. (2009). Instant messaging reference: a practical guide. Oxford: Chandos. 

【Chap.7 Evaluating/updating service】

 前言

        虛擬參考服務的好處在於其能自動擷取參考互動歷程，並以記錄(log)的形式提供手稿，讓我們得以再次檢視這些已完成的參考服務，並對其重新反思。評估虛擬參考服務可以讓我們保持新鮮感，為了新發現的結果調整服務，避免限縮自己。

 評估的困難與解決之道

        不過，要展開評估是件困難的事情，有三個原因：太多資料、太多看待資料的面向、太多種要努力的目標。

        本文作者對此提出兩個建議：「聚焦、只蒐集會用到的資料」。若有一些新發現是之前從未預期過、也未曾納入評估中的，那可以放到下一次評估中，但千萬不要覺得越多越好，絕對不要浪費顧客的時間蒐集不會用到的資料。

 評估的方式

        Jonathan Byrnes(2005) 認為，顧客服務是顧客所感受到且會記得的，因此客戶未來的行為就是顧客服務的嚴峻考驗。傳統上，虛擬參考服務的使用者滿意度就是以顧客再次使用服務的意願來決定，不過，客戶無法保證每次提供虛擬參考服務的是同一人，Jeffrey Pomerantz(2008)就指出，客戶再次回來利用的意願雖然是測量使用者對虛擬參考服務滿意度的適當測量方式，但必須是對於相同服務的另一個問題的提出，而非回來尋求另一個服務。

 評估前的資料蒐集

        可以透過記錄(logs)或手稿(transcripts)、客戶調查、館員調查、訪問、焦點小組等來蒐集資料，蒐集時要注意隱私權，確定客戶有注意到且也願意紀錄被使用。另外，詢問客戶滿意度的理想時間乃他們有充分時間評估所獲得的資源之後，館員可以先留下客戶的email以便後續聯絡，同時也寄出email問卷讓其之後作答。

 評估流程

Meola & Stormont(2002)提出簡潔的評估計畫 :

1. 再次確認願景(revisit your vision)

         一日復一日的實務工作會使人忘記最初的目標，重新鎖定虛擬參考服務的目標將有利於再次接近願景，並會因此決定要以最好的方法評估願景達成的程度。

        所謂最好的評估方法就是為了在特定領域中能達成持續性成功而設定出的表現標準，以此標準來衡量比較績效。應注意此標準的設定是務實的，才能真正用於服務評估。

2. 評價軟體evaluate software

        一旦承諾了要提供虛擬參考服務，就必須確保已經準備周全、隨時能迎接潛在顧客。保持軟體的運作就是這階段所該做的，像是確認軟體是可運作的、檢查軟體如何影響硬體等。

3. 評估員工assess staffing

        員工是虛擬參考服務的重要關鍵，因為他們會自行評估面對面或虛擬參考服務的工作負擔，以及自行評估在客戶需要的時候是否能提供參考虛擬服務。而依照人性，每個人都會快速達成自己有興趣的工作、拖延自己不喜歡的工作，但就會因此影響服務品質。

        因此，要注意員工對於虛擬參考服務的真實感受，是滿心喜悅的接受或是偷偷抱怨，若觀察到有什麼值得關注的原因就可以找出來及早解決，確保員工會快樂的提供高品質服務。

4. 回顧問題review question

        對於一個有目的的評估而言，必須在回顧問題之前就有個目標，才會在整理資料時引起想法。

        問題中最多的就是「有多少」、「哪種類型」、「何時接收」，檢視這些問題時應該先設有目標。「有多少」後的目標是，從接收的問題中比較每年(月、周)的面對面、電子信件、電話詢問的數量；「哪種類型」背後的目標是，了解那些問題的種類超過其他類型，就能將其加入FAQ清單，或根據這些重複提出的問題和主題來舉辦工作坊；「何時接收」背後的目標是，能確定虛擬參考服務最易理解、最好用的時間範圍。

5. 分析答案analyze answers

        我們都會在顧客離開後仍持續針對參考服務問題進行分析和後續工作，以便找到另一個更好、更不同的答案，虛擬參考服務留下的紀錄正好能讓我們重新檢視我們給予的答案，讓我們進行品質控制。

        不過，我們不要花太多時間看著紀錄沉思，而是一周至少一次的注視草稿並找出警告訊號，像是有哪些問題還沒回答、未完成的答案有何模型、不悅的客戶回應內容，並從記錄中找出無形中達成共識且正在被遵循的虛擬參考服務政策。若時間允許，甚至可以花一些時間分析館員給予的答案，思考之後的學習和訓練如何進行。

        Pomerantz(2008)指出，進行參考服務草稿內容分析的技巧，就是定義出：什麼構成精確且完整的答案、成功引導的範例為何、謝意表達的方式。

        另外，用以替內容編碼的「類別範圍」應該要很清楚，若類別是有效的，那就想盡辦法好好善用，不然就要常是要以什麼方式分類更能完成分析。

6. 製成報告produce a report

        一旦蒐集並分析了所有的資料，則可以試著產出一份報告，一方面留下目前的資訊和啟發，另一方面則能呈現結果給利害關係人、館長看或留下歷史性紀錄。

        同樣的，製成報告時也須聚焦，報告資訊是有用的而不僅是有趣的，資訊應能協助做出增進服務的決定。另外，要確定報告盡可能客觀、展現對於虛擬參考服務無偏頗的觀點。