Trong năm qua, ngành công nghiệp đã thúc đẩy những tiến bộ đáng kể về khả năng của AI. Khi những tiến bộ đó ngày càng tăng tốc, cần phải có nghiên cứu học thuật mới về an toàn AI. Để giải quyết khoảng cách này, Diễn đàn và các đối tác từ thiện đang thành lập Quỹ An toàn AI mới, quỹ này sẽ hỗ trợ các nhà nghiên cứu độc lập trên khắp thế giới liên kết với các tổ chức học thuật, tổ chức nghiên cứu và công ty khởi nghiệp. Cam kết tài trợ ban đầu cho Quỹ An toàn AI đến từ Anthropic, Google, Microsoft và OpenAI, cũng như sự hào phóng của các đối tác từ thiện của chúng tôi, Quỹ Patrick J. McGovern, Quỹ David và Lucile Packard^{[^chú thích-1]}, Eric Schmidt và Jaan Tallinn. Tổng số tiền này lên tới hơn 10 triệu đô la tài trợ ban đầu. Chúng tôi rất mong nhận được sự đóng góp bổ sung từ các đối tác khác.

Đầu năm nay, các thành viên của Diễn đàn đã ký kết các cam kết AI tự nguyện tại Nhà Trắng, trong đó bao gồm cam kết tạo điều kiện thuận lợi cho bên thứ ba phát hiện và báo cáo các lỗ hổng trong hệ thống AI của chúng tôi. Diễn đàn coi Quỹ An toàn AI là một phần quan trọng trong việc thực hiện cam kết này bằng cách cung cấp cho cộng đồng bên ngoài nguồn tài trợ để đánh giá và hiểu rõ hơn về các hệ thống biên giới. Cuộc thảo luận toàn cầu về an toàn AI và nền tảng kiến ​​thức AI nói chung sẽ được hưởng lợi từ nhiều tiếng nói và quan điểm rộng hơn. 

Trọng tâm chính của Quỹ sẽ là hỗ trợ phát triển các kỹ thuật và đánh giá mô hình mới cho các mô hình AI nhóm đỏ nhằm giúp phát triển và thử nghiệm các kỹ thuật đánh giá về khả năng nguy hiểm tiềm tàng của các hệ thống biên giới. Chúng tôi tin rằng việc tăng cường tài trợ trong lĩnh vực này sẽ giúp nâng cao các tiêu chuẩn an toàn và bảo mật, đồng thời cung cấp thông tin chuyên sâu về các biện pháp giảm thiểu và kiểm soát mà ngành mà chính phủ và xã hội dân sự cần để ứng phó với những thách thức do hệ thống AI đặt ra. 

Quỹ sẽ đưa ra lời kêu gọi đề xuất trong vòng vài tháng tới. Viện Meridian sẽ quản lý Quỹ—công việc của họ sẽ được hỗ trợ bởi một ủy ban cố vấn bao gồm các chuyên gia độc lập bên ngoài, chuyên gia từ các công ty AI và các cá nhân có kinh nghiệm trong việc tài trợ.