Kết luận được đưa ra trong nghiên cứu đã được chuyên gia thẩm định và công bố trên tạp chí Nature ngày 12/7. Cụ thể, Med-PaLM đã đạt được điểm số 67,6% đối với bài kiểm tra trắc nghiệm Thi cấp phép y tế (USMLE) của Mỹ, vượt tỉ lệ đạt tối thiểu là 60%.

Google khẳng định Med-PaLM là công cụ mô hình ngôn ngữ lớn đầu tiên đỗ USMLE.

Vào tháng 5, một nghiên cứu cho biết Med-PaLM 2 đạt được điểm số 86,5% trong bài kiểm tra USMLE, cao điểm hơn chatbot phiên bản gốc, song nghiên cứu này chưa được các chuyên gia thẩm định để có thể khẳng định độ chính xác.

Med-PaLM được phát triển trên cơ sở của PaLM, mô hình ngôn ngữ lớn mới nhất và tiên tiến nhất của Google. chatbot này được có thể đưa ra các câu trả lời chuyên ngành y tế chính xác hơn so với các chatbot thông thường khác.

Một số ý kiến chuyên gia cho rằng Med-PaLM sẽ rất hữu ích tại các quốc gia và trong trường hợp "hạn chế về khả năng tiếp cận các y, bác sĩ".

Tuy nhiên chuyên gia khoa học máy tính tại Đại học Bath của Vương quốc Anh, James Davenport, cho rằng có sự khác biệt lớn trong việc trả lời câu hỏi y khoa và xử lý tính huống thực tiễn, bao gồm việc chẩn đoán và đưa ra phương pháp điều trị.

Chuyên gia về AI của Đại học Leeds, Anthony Cohn cho rằng, khả năng chatbot đưa ra thông tin sai lệch vẫn khá lớn, do bản chất mang tính thống kê và học hỏi từ dữ liệu có sẵn của hệ thống này. Do đó, ông cho rằng chỉ nên sử dụng các chatbot này như một trợ lý, thay vì như một bác sĩ thật có quyền quyết định việc chữa trị bệnh nhân.