Khi trí tuệ nhân tạo xuất hiện, chúng ta nói về một sự bùng nổ trí tuệ, nghĩa là một loạt những sự phát triển mạnh mẽ trên diện rộng của trí tuệ máy trong một thời gian ngắn. Điều này đồng nghĩa với việc hệ thống sẽ tìm ra cách vượt qua con người về trí tuệ và tự hiện thực hóa mục tiêu của mình.
Một số mục tiêu trong đó có thể được chính con người lập trình nên, nhưng chúng ta khó mà nắm bắt được toàn bộ thế giới phức tạp và sẽ để lại kẽ hở dẫn đến sự xuất hiện của “các chế độ sai lỗi ác tính”, bao gồm: Sự hiện thực hóa sai lệch, Dư thừa hạ tầng và Tội ác tâm trí, với hậu quả khả dĩ chính là sự diệt vong của toàn nhân loại.
Trước viễn cảnh này, Nick Bostrom đã đưa ra câu hỏi: Kết quả mặc định có phải là Tận thế?
Theo Bostrom, chúng ta cần nhắm tới việc giải quyết vấn đề kiểm soát để tạo ra một dạng thức siêu trí tuệ an toàn. Điều này có thể được thực hiện thông qua một số lộ trình, chẳng hạn như thiết kế mục tiêu cho tác tử, đưa ra mô tả chi tiết, gán cho tác tử một số giá trị nhất định về đạo đức, v.v.
Bằng giọng văn và cấu trúc mạch lạc, Siêu Trí Tuệ của Nick Bostrom sẽ dẫn người đọc lần lượt đi qua những con đường, hiểm nguy và chiến lược nhằm hướng tới một kết quả như ý muốn trong việc kiểm soát siêu trí tuệ và sử dụng nó như một công cụ hỗ trợ con người.
