Một hệ thống có thể phát hiện đúng một cặp thuốc mà vẫn đưa ra cảnh báo không đáng làm gián đoạn bác sĩ. Ngược lại, một cảnh báo hiếm khi xuất hiện vẫn có thể là cảnh báo không được phép bỏ sót. Vì vậy, phép thử cho cảnh báo kê đơn không thể dừng ở câu hỏi hệ thống có tìm thấy tương tác hay không.
Bài viết này đề xuất một quy trình đánh giá đối chuẩn cho mức độ liên quan của cảnh báo kê đơn. Đây là thiết kế đánh giá, chưa phải một nghiên cứu đã hoàn thành. Chúng tôi chưa công bố bộ ca, ngưỡng đạt hay kết quả của Meddies theo quy trình này.
Chốt mục đích sử dụng trước khi chọn ngưỡng
Cùng một phát hiện có thể được trình bày theo nhiều cách. Hệ thống có thể đưa thông tin ở vị trí không làm gián đoạn, yêu cầu bác sĩ xác nhận trước khi tiếp tục, hoặc chặn y lệnh cho đến khi có hành động phù hợp. Chi phí của một cảnh báo sai tăng mạnh theo mức độ can thiệp. Chi phí của một lần bỏ sót cũng thay đổi theo hậu quả lâm sàng và khả năng bác sĩ còn cơ hội phát hiện bằng cách khác.
Vì vậy, hồ sơ đánh giá phải nêu rõ cảnh báo được đánh giá cho mục đích nào. Một cấu hình dùng để tham khảo không thể dùng chung ngưỡng với một cấu hình ngắt quy trình kê đơn. Ngưỡng cũng phải được xác định trước khi xem kết quả kiểm tra. Nếu điều chỉnh ngưỡng sau mỗi lần thấy một lỗi khó chịu, nhóm phát triển sẽ tối ưu cho chính bộ ca đang dùng và mất khả năng đánh giá trên ca mới.
Hướng dẫn về phần mềm hỗ trợ quyết định lâm sàng của FDA ban hành tháng 1/2026 khuyến nghị mô tả rõ mục đích sử dụng, người dùng chuyên môn và nhóm người bệnh dự kiến trong phần giải thích tiêu chí 4 cho phần mềm CDS không phải thiết bị. Mục tiêu là để bác sĩ có thể tự xem xét cơ sở của khuyến nghị. Đây là hướng dẫn không ràng buộc của Hoa Kỳ, không phải quy định áp dụng tại Việt Nam. Giá trị có thể dùng ở đây là kỷ luật đánh giá: xác định đầu ra được phép làm gì trước khi chọn phép đo và ngưỡng đạt.
Hướng dẫn SAFER về kê đơn điện tử và hỗ trợ quyết định của ONC khuyến nghị giới hạn cảnh báo ngắt quy trình ở những thông báo quan trọng, phù hợp với người bệnh và có hành động rõ ràng. Đây là nguyên tắc thiết kế, không phải ngưỡng định lượng sẵn có cho một bệnh viện. Mỗi cơ sở vẫn phải xác định mức rủi ro chấp nhận được theo phạm vi sử dụng của mình.
Mỗi ca kiểm tra cần có nguồn và phiên bản
Một ca đối chuẩn cần nhiều hơn danh sách thuốc và đáp án. Hồ sơ tối thiểu phải ghi nguồn tri thức, phiên bản nguồn, ngày đối chiếu, dữ liệu người bệnh được cung cấp, dữ liệu bị chủ động để trống, y lệnh đang được xem xét và thời điểm cảnh báo dự kiến xuất hiện trong quy trình.
Tại Việt Nam, Danh mục tương tác thuốc chống chỉ định theo Quyết định 5948/QĐ-BYT có thể cung cấp một nhóm ca nền cho tương tác thuốc. Nhưng danh mục này tập trung vào tương tác chống chỉ định. Nó không đại diện cho toàn bộ rủi ro khi kê đơn như dị ứng, liều dùng, chức năng thận hoặc gan, thai kỳ, trùng hoạt chất và các tình huống cần theo dõi thay vì ngừng thuốc.
Bộ ca vì thế phải được xây theo từng nhóm nguy cơ đã khai báo. Trong mỗi nhóm cần có ca dương tính, ca âm tính và ca gần giống nhau nhưng khác ở một dữ kiện có ý nghĩa lâm sàng. Chẳng hạn, hai hồ sơ chỉ khác một giá trị xét nghiệm hoặc một đường dùng sẽ cho biết hệ thống có thật sự đọc bối cảnh hay chỉ nhận ra tên thuốc. Dữ liệu dùng để tinh chỉnh hệ thống phải tách khỏi dữ liệu dùng để báo cáo kết quả cuối cùng.
Mọi thay đổi nguồn tri thức, cách chuẩn hóa tên thuốc, quy tắc ánh xạ hoặc cấu trúc dữ liệu đều tạo ra một phiên bản mới của bộ đối chuẩn. Nếu không lưu lại các thành phần này, kết quả không thể tái lập và một lần chạy lại sau nâng cấp sẽ không cho biết điều gì đã thay đổi.
Nhãn phải phản ánh hậu quả của quyết định
Gọi một cảnh báo là đúng hay sai vẫn quá thô. Người đánh giá cần trả lời hai câu hỏi riêng. Phát hiện có đúng về mặt tri thức và dữ liệu hay không. Nếu đúng, phát hiện đó nên làm gián đoạn bác sĩ ở mức nào trong bối cảnh đang xét.
Một phiếu đánh giá phù hợp có thể ghi nhận các chiều sau:
- mức độ nghiêm trọng nếu nguy cơ xảy ra
- thời gian còn lại để can thiệp
- mức độ áp dụng cho đúng người bệnh và đúng y lệnh
- khả năng bác sĩ thực hiện một hành động cụ thể
- độ tin cậy và phạm vi của nguồn tham khảo
- dữ liệu còn thiếu có thể làm thay đổi nhận định
Từ các chiều này, hội đồng xây dựng nhãn cho hành vi giao diện, chẳng hạn phải ngắt quy trình, nên hiển thị không ngắt quy trình, không nên phát cảnh báo, hoặc chưa đủ dữ liệu để kết luận. Tên nhãn có thể thay đổi theo sản phẩm. Định nghĩa, lý do và hậu quả của việc gán sai phải được công bố trước khi chấm hệ thống.
Không nên cộng các chiều thành một điểm duy nhất rồi xem mọi sai lệch có giá trị như nhau. Bỏ sót một ca mà hội đồng đã xác định là không thể chấp nhận không được bù bằng việc xử lý đúng nhiều ca ít quan trọng. Kết quả cần báo cáo riêng cho từng nhãn và kèm một thước đo sai số có trọng số theo mức độ gây hại.
Dược sĩ và bác sĩ phải đánh giá độc lập
Dược sĩ và bác sĩ cùng xem một y lệnh nhưng chú ý đến những vấn đề khác nhau. Dược sĩ thường tập trung vào thuốc, liều, tương tác và yêu cầu theo dõi. Bác sĩ phải đặt các thông tin đó trong bệnh cảnh, mục tiêu điều trị và lựa chọn thay thế. Phép đánh giá cần cả hai góc nhìn.
Mỗi ca nên được dược sĩ và bác sĩ đánh giá độc lập trước khi thấy đầu ra của hệ thống. Phiếu chấm phải giữ lại nhãn ban đầu, nguồn được dùng và lý do của từng người. Khi họ không đồng ý, một người hoặc hội đồng khác có thể phân xử theo quy trình đã định trước. Nhưng kết quả bất đồng không nên bị xóa sau khi có nhãn cuối cùng.
Bất đồng cho biết điểm nào của tiêu chí còn mơ hồ, nguồn nào chưa đủ rõ hoặc tình huống nào phụ thuộc chuyên khoa. Báo cáo chỉ đưa ra tỷ lệ đồng thuận chung sẽ che mất điều đó. Cần xem bất đồng theo nhóm cảnh báo, mức độ can thiệp và loại dữ liệu người bệnh.
Một nghiên cứu can thiệp đơn nhánh công bố năm 2025 đánh giá gợi ý chẩn đoán gắn trong cảnh báo thuốc tại các phòng khám ngoại trú của một bệnh viện ở Đài Loan. Tỷ lệ chấp nhận chênh lệch lớn giữa 23 chuyên khoa. Thiết kế không có nhóm đối chứng và chỉ thực hiện tại một bệnh viện nên không chứng minh hệ thống cải thiện kết quả lâm sàng. Phần có thể dùng cho phép đánh giá là cảnh báo về phép tính gộp: một tỷ lệ chấp nhận chung có thể che việc cảnh báo không phù hợp với quy trình của từng chuyên khoa.
Trong điều kiện cho phép, người viết quy tắc hoặc dựng ca không nên tham gia chấm vòng cuối. Nếu không thể tách hoàn toàn, mối liên hệ này phải được ghi trong báo cáo. Đánh giá mù đầu ra của hệ thống không loại bỏ mọi thiên lệch, nhưng giúp tránh việc sửa lý do lâm sàng để khớp với đáp án máy.
Không dùng một chỉ số để tuyên bố đạt
Đối với cảnh báo phải ngắt quy trình, kết quả cần cho biết hệ thống tìm được bao nhiêu ca quan trọng, có bao nhiêu lần ngắt không cần thiết và lỗi tập trung ở nhóm người bệnh nào. Với cảnh báo không ngắt quy trình, khả năng cung cấp thông tin đúng lúc và có thể hành động quan trọng hơn việc buộc bác sĩ phản hồi ngay.
Ngưỡng đạt phải gắn với mục đích sử dụng đã công bố và được khóa trước khi chạy bộ kiểm tra cuối. Báo cáo nên có ít nhất độ nhạy theo từng mức nguy cơ, độ chính xác của nhóm cảnh báo ngắt quy trình, gánh nặng cảnh báo trên mỗi cơ hội kê đơn, sai số có trọng số theo mức độ gây hại và khoảng bất định của từng ước tính. Một điểm trung bình không đủ để kết luận.
Một cấu hình phải được xem là không đạt nếu bỏ sót nhóm ca đã được xác định trước là không thể chấp nhận, âm thầm coi dữ liệu thiếu là dữ liệu âm tính, giảm rõ rệt ở một nhóm người bệnh quan trọng, hoặc không tái lập được khi chạy lại cùng phiên bản. SAFER cũng khuyến nghị kiểm tra cả quy tắc mới lẫn quy tắc cũ sau thay đổi liên quan đến hỗ trợ quyết định. Vì vậy, bộ đối chuẩn phải có bộ hồi quy và nhật ký lỗi thay vì một lần chấm trước khi triển khai.
Lý do bỏ qua cảnh báo là dữ liệu lâm sàng
Đánh giá ngoại tuyến kiểm tra hệ thống trên bộ ca đã biết. Nó chưa cho biết bác sĩ sẽ phản ứng thế nào trong công việc thật. Giai đoạn tiếp theo nên chạy ở chế độ mô phỏng hoặc quan sát trước khi dùng cảnh báo để can thiệp vào y lệnh.
Khi bác sĩ bỏ qua một cảnh báo, hệ thống cần lưu lý do có cấu trúc và cho phép bổ sung ngữ cảnh khi cần. Báo cáo năm 2025 của AHRQ về lý do bỏ qua hỗ trợ quyết định cho thấy việc phân loại lý do có thể giúp tìm ra lỗi logic, dữ liệu đầu vào không phù hợp hoặc vị trí cảnh báo sai trong quy trình. Báo cáo này cũng cảnh báo rằng việc bắt người dùng nhập lý do chỉ có ích khi dữ liệu được xem lại và dùng để cải thiện hệ thống.
Tỷ lệ bỏ qua vì thế không phải điểm chất lượng. Một cảnh báo có thể bị bỏ qua vì không áp dụng cho người bệnh, vì đã có biện pháp theo dõi, vì bằng chứng không phù hợp hoặc vì nó xuất hiện sai thời điểm. Ngược lại, một cảnh báo được chấp nhận không tự chứng minh quyết định sau đó có lợi. Cần đối chiếu lý do, hành động tiếp theo và đánh giá độc lập.
Công bố đủ để người khác kiểm tra lại
Một báo cáo đánh giá đối chuẩn có giá trị phải đi kèm danh mục nguồn và phiên bản, tiêu chí chọn ca, cấu trúc dữ liệu, hướng dẫn gán nhãn, quy trình phân xử, kết quả bất đồng, ngưỡng đã khóa, các chỉ số theo nhóm và toàn bộ loại lỗi phát hiện được. Nếu không thể công bố dữ liệu ca vì quyền riêng tư hoặc giấy phép nguồn, nhóm thực hiện vẫn phải công bố lược đồ, quy trình tạo hoặc chọn ca, mã đánh giá và một tập mẫu được phép chia sẻ.
ONC định nghĩa hỗ trợ quyết định lâm sàng quanh thông tin đúng lúc, riêng cho người bệnh và phù hợp với quy trình. Phép đối chuẩn chỉ kiểm tra được từng phần của yêu cầu đó. Nó không chứng minh hệ thống cải thiện kết quả điều trị, không thay thế đánh giá tại bệnh viện và không bảo đảm một cấu hình phù hợp với mọi chuyên khoa.
Đây là giới hạn cần giữ. Mục tiêu của phép đánh giá không phải tạo ra một con số đẹp cho sản phẩm. Mục tiêu là biết cảnh báo nào xứng đáng dùng sự chú ý của bác sĩ, lỗi nào không được phép bỏ sót và bằng chứng nào còn thiếu trước khi hệ thống được phép can thiệp sâu hơn vào kê đơn.