三大醫療群組均受影響,原可避免的故障
承包商未完成必要的安全更新,導致新加坡公立醫療系統於10月13日中斷,約4,000個門診預約被迫改期,部分病患等候時間長達兩小時。中斷持續約九個半小時,影響NHG Health、國立大學醫療系統(National University Health System)及新保集團(SingHealth)。
目錄
衛生部政務部長陳傑豪表示,這項更新涉及共用的網域名稱系統(DNS)服務。國家醫療科技機構Synapxe委託服務供應商執行相關作業,但對方未能在預定的全球變更前完成。陳傑豪形容這次疏失原可避免,並為這場他認為本不應發生的服務中斷致歉。
調查也說明了為何備援基礎設施無法解決問題。新加坡公立醫療系統設有兩座資料中心,但兩者都仰賴同一項DNS服務及安全設定。即使將作業從一座資料中心切換至另一座,根本故障仍然存在。
未接獲與這次中斷有關的病人安全事件通報。調查人員未發現網路攻擊、未經授權存取、系統遭入侵或病人資料遺失。直接影響包括服務受阻、等候時間拉長,以及預約必須改期。
病患與醫護人員的經歷
預約掛號、訪客登記、藥品調劑及帳務服務都受到影響。三大醫療群組的連線問題程度不一,因此各機構受到的影響並不完全相同。
對病患而言,影響不只是電腦畫面無法載入。部分病患等候服務的時間更久,也有人被改安排其他門診時段。約有4,000個預約改期,但這個數字計算的是預約件數,並不代表停機期間所有受到不便的人數。
醫療機構啟動停機應變程序,也就是正常電腦系統無法使用時採取的安排。各機構增派人手,並透過人工流程及另行提供的部分唯讀病歷,持續提供必要照護。
唯讀病歷可讓醫護人員查閱資料,但無法透過該系統修改。正常服務中斷期間,這些病歷讓臨床人員仍可取得部分病人資訊。員工也必須處理平時通常由電子系統執行、如今額外增加的工作。
服務中斷的經過
Synapxe對事件的說明指出,故障於10月13日上午約7時10分開始。服務自下午約3時起陸續恢復,所有受影響服務於下午4時37分前恢復。從通報的故障開始時間到全面恢復,間隔九小時二十七分鐘,與約九個半小時的概略說法一致。
- 10月13日,上午約7時10分:影響網路連線的技術問題開始造成三大公立醫療群組的服務中斷。
- 10月13日,下午約3時:受影響服務開始陸續恢復。
- 10月13日,下午4時37分:Synapxe表示,所有受影響服務均已恢復。
- 10月13日,下午約5時40分:Synapxe發布後續聲明,確認服務已恢復。
- 11月3日:國會議員原定就服務中斷、對病患的影響及備援安排的可靠性質詢政府。
Synapxe最初表示,網路連線受到技術問題影響,並稱調查期間沒有跡象顯示事件涉及網路攻擊。後續調查確認,漏做安全更新是故障原因,並證實病人資料未遭入侵或遺失。
共用DNS服務為何如此關鍵
DNS服務協助電腦系統找到並連接應用程式,作用就像目錄:系統查詢某項服務的位置,DNS則提供連線所需資訊。這個共用目錄一旦無法正常運作,其他原本彼此獨立的應用程式也可能變得難以或無法存取。
必要的安全更新適用於共用DNS。由於承包商未能在預定的全球變更前完成更新,公立醫療系統共用的一項技術依賴因此成為故障點。
陳傑豪表示,相關變更是事先已知的。因此,核心作業疏失在於未能為預期中的變更完成必要準備。追蹤作業指示只是流程的一部分,也必須確認工作確實已完成。
政府的改善工作包括加強追蹤與查核關鍵技術變更。實務上,系統負責機構必須有可靠方法,確認預定更新已套用,之後才讓所準備因應的變更生效。
為何兩座資料中心仍不足以應變
公立醫療系統設有包括兩座資料中心在內的備援基礎設施。當特定設施或其部分基礎設施無法使用時,這類安排可讓服務轉移至其他位置。然而,這次事件中,兩座資料中心都仰賴相同的DNS服務及安全設定。
因此,切換設施後,系統仍會遇到同一個尚未解決的問題。第二個地點提供了另一處執行服務的場所,但共用依賴使其無法針對這次故障提供有效的復原途徑。
政府正將處理共用依賴及改善復原安排納入應對工作。實際關鍵在於,當主要系統與備援系統共用的服務故障時,備援系統是否仍能運作。
指定議員Haresh Singaraju要求政府說明,系統是否設有獨立備援、預計多久恢復服務,以及是否達成目標。議員Joan Pereira也詢問,為何備援基礎設施未能避免服務中斷,並要求提供受影響病患人數。
Synapxe仍須負起責任
Synapxe正檢視服務供應商的合約義務,若確認對方違約,將採取適當行動。陳傑豪表示,無論採取何種外包安排,該機構仍須對關鍵系統的韌性負責。
承包商有責任執行更新,Synapxe則有責任維持醫療系統可靠,兩者都屬於應對工作的一環。即使委託其他機構執行技術作業,Synapxe仍須監督醫院、診所及病患所依賴的系統。
服務供應商身分、任何合約罰則及改善措施的完成時程均未公布。議員Cassandra Lee要求提供調查進度,並說明如何降低再次發生中斷的可能性。
Synapxe已委任一個專家小組,成員來自工程背景相近的機構。小組將審查調查結果與建議補救措施,並找出進一步改善方向。衛生部將監督改善措施,並確認其成效。
加快故障診斷是復原計畫的一環
事件期間,監控系統偵測到異常活動,但找出根本問題並安全恢復服務仍需時間。發現系統出錯,與確切找出需要修復之處,是應變過程中的不同階段。
Synapxe正強化監控與故障診斷,以加快復原速度。對服務多個醫療群組的系統而言,挑戰之一是追查共用服務的問題,而不是只逐一檢查受影響的應用程式。
服務恢復後,Synapxe在聲明中談及病患與訪客的經歷,以及與醫療機構共同採取的工作:
服務中斷期間,部分公立醫療機構的病患與訪客使用某些服務時,等候時間較長。
「我們的團隊與公立醫療群組密切合作,盡快恢復受影響的服務。
服務恢復時間顯示,復原是分階段進行。下午約3時起,部分服務開始恢復,比所有受影響服務全面恢復早了一個半小時以上。因此,員工必須應對正常作業逐步恢復、進度不一的情況。
系統故障時維持醫療服務
醫療機構透過增派人手、部分唯讀病歷及人工程序,維持必要照護。陳傑豪表示,雖然病患面臨延誤,且數千個預約改期,但未接獲與停機有關的病人安全事件通報。
政府計畫強化停機應變系統、人員準備及定期演練,包括針對部分服務中斷進行演練。部分服務中斷可能導致某些應用程式仍可使用,另一些則無法存取,醫護人員必須判斷哪些流程可照常進行,哪些需要替代方案。
目前的應對工作有三項相互關聯的目標:加強技術變更管理以避免重演、處理共用依賴以降低故障影響範圍,以及強化作業準備,確保醫療服務持續運作。
對病患而言,成效應是技術問題發生時,取消或延後的預約減少。對醫護人員而言,則是能可靠取得必要資訊,並在服務中斷期間採用可行的應變程序。陳傑豪表示,醫療科技必須更加可靠,同時確保系統故障時,醫護人員仍能安全地持續照護病患。
重點整理
- 漏做安全更新導致新加坡三大公立醫療群組於10月13日發生服務中斷。
- 約4,000個門診預約改期,部分病患等候時間長達兩小時。
- 服務自上午約7時10分起受影響,至下午4時37分全面恢復。
- 兩座資料中心都仰賴相同的DNS服務及安全設定,無法有效切換至備援基礎設施。
- 未接獲與服務中斷有關的病人安全事件通報;調查人員也未發現網路攻擊或病人資料遺失。
- Synapxe正檢視承包商的合約義務,衛生部則將監督改善措施並確認其成效。






