Một sản phẩm mới hiếm khi không có sai sót. Có một câu nói xưa về những ngôi nhà mới. Khi bạn mua một ngôi nhà mới vừa được thợ xây hoàn thiện, hãy để kẻ thù của bạn ở trong đó trong năm đầu tiên. Hãy để một người bạn sống ở đó vào năm thứ hai, tự mình chuyển đến sống ở đó vào năm thứ ba. Sự khôn ngoan này đã có từ rất lâu trước khi chúng ta nghe nói về người thử nghiệm beta và người thử nghiệm alpha.

Kể từ năm 1954, người ta đã có thể thu hồi xe ở Mỹ dựa trên số VIN của chúng. Ngay cả thử nghiệm tốt nhất cũng không thể tìm ra tất cả thiếu sót trong sản phẩm và khi thiếu sót liên quan đến an toàn, NHTSA có thể ra lệnh thu hồi. Một lần nữa, đây không phải là bản thử nghiệm beta của những chiếc xe trước khi có mặt rộng rãi. Đó là sự thừa nhận rằng ngay cả những sản phẩm được thử nghiệm tốt nhất có thể ẩn chứa những khuyết điểm mà sau một thời gian dài và sử dụng rộng rãi mới phát hiện được.

Cha tôi là một người đam mê ô tô thực thụ. Anh và những người bạn của mình không biết có niềm vui nào lớn hơn việc tháo rời một chiếc ô tô và chế tạo lại nó, theo cách mà họ cho là cách tốt hơn. Đó là vào những năm 1930 ở Paris. Câu chuyện về một Người Thụy Sĩ gốc Tây Ban Nha họ cắt làm đôi để dài thêm nửa mét được kể lại mỗi lần gặp nhau.

Một câu chuyện khác phổ biến trong số họ là về một nguyên mẫu. Khi quá trình phát triển cho rằng nó hoàn hảo, nó được sản xuất hàng loạt nhỏ và giao cho các thợ cơ khí chế tạo một chiếc ô tô để thử nghiệm ngoài đời thực. Sau một vài tháng không có lời phàn nàn nào, quá trình sản xuất thực sự đã được bắt đầu. Đó là một thảm họa. Hóa ra những người thợ cơ khí tự hào về công việc của họ và bảo trì, sửa chữa những chiếc ô tô mà chỉ những người thợ chế tạo ô tô mới có thể làm được.

Lần tiếp theo cần thử nghiệm một nguyên mẫu, công ty đã chọn những người nông dân chỉ biết ngựa để vận chuyển. Họ sang số mà không gài ly hợp. Họ đặt đôi giày gỗ lớn của mình lên cả phanh và chân ga cùng một lúc. Họ đã phá vỡ mọi thứ có thể phá vỡ. Họ đã làm điều đó theo nhiều cách khác nhau. Kết quả là một chiếc ô tô vẫn được sản xuất trong gần nửa thế kỷ. Nó nổi tiếng vì sự đơn giản, mạnh mẽ và là niềm mơ ước của thợ cơ khí. Tất cả các bu lông đều có cùng kích thước, bạn chỉ cần một chiếc cờ lê duy nhất. Chiếc xe đó là Citroen 2CV. Có lẽ đó là chiếc xe yêu thích của bố tôi.

Thử nghiệm này còn được gọi là: “Sản phẩm này có an toàn không?” Không, không có gì cả. Nhưng cách tốt nhất để đến gần nhất có thể là sử dụng nó theo cách tồi tệ nhất có thể.

Tôi đã làm việc trong lĩnh vực phát triển phần mềm trong phần lớn cuộc đời làm việc của mình. Nó chủ yếu là phần mềm tài chính. Một trong những công việc của tôi là thử nghiệm một hệ thống trả lương khoảng một trăm nghìn giáo viên mỗi tháng. Một cách khác là chuyển tiền quốc tế bằng hệ thống SWIFT trong thời kỳ giới thiệu đồng euro. Nếu có một lỗi trong hệ thống như vậy thì sẽ rất tốn kém. Thật khó để lấy lại tiền khi trả nhầm người hoặc trả nhầm số tiền. Việc kiểm tra rất nghiêm ngặt. Có sửa lỗi mỗi tháng. Không có hệ thống nào là không có lỗi. Hệ thống ngân hàng với hàng triệu người dùng và hàng trăm hệ thống con cũng không ngoại lệ. Cả hai hệ thống lương đều không được xác định và kiểm tra rõ ràng - chúng cũng có lỗi. Cả ngân hàng và công ty lương đều có một đội ngũ tận tâm có thể vá hệ thống trong sản xuất.

Trường hợp phần mềm thử nghiệm beta

Khi một hệ thống trở nên phức tạp hơn, nó sẽ có nhiều lỗi hơn. Khi hệ thống được nhiều người sử dụng hơn thì sẽ có nhiều lỗi hơn được tìm thấy. Khi hệ thống được triển khai ở nhiều môi trường hơn, nhiều tình huống chưa từng được hình dung sẽ xảy ra.

Vòng thử nghiệm đầu tiên là của các nhà phát triển. Họ có làm được điều họ nghĩ họ đã làm không? Nhưng bạn không thể thực sự kiểm tra sản phẩm của chính mình vì bạn biết nó tốt.

Vòng thứ hai là của bộ phận QA (Đảm bảo chất lượng). Dựa trên thông số kỹ thuật, QA có thể viết các bộ kiểm tra rất lớn để kiểm tra mọi điều kiện trong thông số kỹ thuật. Nhưng QA không thể kiểm tra thông số kỹ thuật. Trong khả năng trí tưởng tượng của họ cho phép, họ có thể tạo ra các bài kiểm tra khác, nhưng số đó không nhiều.

Vòng thứ ba là người dùng thử nghiệm trong một môi trường được kiểm soát, làm những gì họ vẫn làm bình thường và báo cáo về tất cả những điều họ không thích. Điều này cho thấy những thiếu sót và sai sót trong thông số kỹ thuật.

Những phát hiện trong mỗi vòng sẽ được chuyển lại cho các nhà phát triển và toàn bộ rạp xiếc bắt đầu lại. Vòng tiếp theo chỉ bắt đầu vì vòng trước không có lỗi.

Vòng thứ tư là sự hội nhập vào thế giới hoạt động. Nó có thể hoạt động và hoạt động mà không làm phiền bất kỳ hệ thống nào khác không? Nó có miễn nhiễm với sự xáo trộn từ bất kỳ hệ thống nào khác không? Điều này nghe có vẻ đơn giản nhưng thế giới thực lại rất phức tạp. Tôi chủ yếu làm việc trên một máy tính lớn với số lượng giao diện hạn chế. Microsoft Office hoạt động trên hơn một trăm triệu máy tính với số lượng giao diện và cấu hình gần như vô tận — thật đáng kinh ngạc.

Vòng thứ tư này bắt đầu trong một phòng thử nghiệm với vài nghìn máy tính có cấu hình khác nhau đang chạy các tập lệnh thử nghiệm. Các bản ghi từ các trường hợp sử dụng khiến các phiên bản trước bị phanh sẽ được sử dụng. Có lẽ hàng trăm nghìn tình huống có vấn đề đã biết sẽ được thử nghiệm. Phần mềm này ổn định nhất có thể.

Nhưng đây là phần cuối của những gì có thể thử nghiệm đối với bộ phận phát triển và các chuyên gia QA. Và vẫn còn quá nhiều lỗi trong hệ thống để có thể phát hành nó ra công chúng. Kinh nghiệm và số liệu thống kê đã dạy cho nhiều người sự thật xấu xí này.

Trong những ngày đầu, ngành công nghiệp phần mềm tung ra phiên bản ##.1 và tất cả những người dùng có kinh nghiệm đều biết rằng nó sẽ có nhiều lỗi. Một số nhà đổi mới và những người áp dụng sớm sẽ sử dụng nó vì tò mò và phiêu lưu. Sau một vài tháng, phiên bản ##.2 sẽ được phát hành với hầu hết các lỗi được loại bỏ. Sau này, phiên bản ##.23 hoặc ##.31 sẽ là phiên bản được sử dụng rộng rãi.

Những người dùng hệ thống đầu tiên này đã trở thành một cộng đồng được xem qua phần mềm trước khi nó được phát hành. Thực tiễn thử nghiệm beta hiện nay đã ra đời.

Và với lịch sử nhỏ này, rõ ràng phần mềm beta là gì. Đây là phần mềm tốt nhất mà nhóm phát triển có thể tạo ra, nhưng không đủ tốt để sử dụng rộng rãi. Nó rất tốt cho những người dùng có thể chấp nhận những điểm không hoàn hảo và đôi khi có lỗi, nhưng đối với những người nghĩ rằng nó chỉ hoạt động thì nó vẫn chưa đủ tốt.

Ưu điểm của việc chỉ sử dụng bản phát hành beta cho những người dùng được chọn thay vì gọi nó là bản phát hành ##.1 là nó giúp người dùng tránh xa những điều không biết. Không thể nhầm lẫn rằng bản 23.1 chắc hẳn phải rất hay vì chúng đang ở phiên bản thứ 23.

Thử nghiệm beta với người dùng thực là cách duy nhất để vượt qua khoảng cách giữa những gì quá trình phát triển có thể tạo ra và những gì công chúng mong đợi. Một chương trình thử nghiệm beta tốt bắt đầu với một nhóm nhỏ người thử nghiệm, những người được chọn dựa trên kỹ năng sử dụng sản phẩm và sự sẵn lòng của họ, đồng thời hy vọng đã chứng minh được khả năng phê phán và mô tả những cải tiến cần thực hiện.

Khi phần mềm ngày càng hoàn thiện hơn, nhóm người thử nghiệm beta có thể được mở rộng. Một số thử nghiệm beta có sự tham gia của hàng triệu người dùng. Giai đoạn thử nghiệm beta càng dài thì sản phẩm càng tốt. Một số công ty (ví dụ: Google) giữ phần mềm của họ ở phiên bản beta trong nhiều năm.

thử nghiệm AI

Với hệ thống trí tuệ nhân tạo (AI) dựa trên mạng lưới thần kinh, chúng ta gặp phải một vấn đề khác. Không có thông số kỹ thuật. Chúng tôi không thể xây dựng bộ thử nghiệm dựa trên mọi điều kiện được chỉ định trong thiết kế. Mạng lưới thần kinh (NN) đã được đưa ra vài triệu tình huống và giải pháp. Nó viết mã để tự nhận biết và giải quyết chúng. Làm thế nào bạn có thể kiểm tra điều này?

Về cơ bản nó giống như cách thực hiện việc thử nghiệm các phần mềm khác. Chỉ có điều những người thử nghiệm có nhu cầu sáng tạo cao hơn. AI có thể được cung cấp hàng triệu tình huống trong môi trường ảo trong đó có giải pháp chính xác. Tôi đã viết về điều này khi thảo luận về Dojo.

Trong trường hợp phần mềm Tự lái hoàn toàn (FSD) của Tesla, phương pháp này có thể đưa AI lên mức thành thạo. Các trường hợp này dựa trên hàng triệu trường hợp do tài xế Tesla tải lên. Nhưng những trường hợp ảo này không bao giờ có thể thay thế được thử nghiệm trong thế giới thực.

Tôi đã viết một bài báo về giám khảo lái xe là những người thử nghiệm beta tốt nhất mà Tesla có thể tìm thấy. Điều này có lẽ tốt hơn nên được gọi là thử nghiệm alpha. Đây là lần kiểm tra cuối cùng được thực hiện một cách có hệ thống dưới sự bảo trợ của nhóm phát triển. Những người này là người hoàn hảo để quyết định xem nó có thực sự hoàn thiện về tính năng và có thể xử lý mọi tình huống giao thông bình thường có thể đoán trước hay không. (Điều họ không thể làm là giúp phần mềm trở nên dễ sử dụng hơn.)

Tuy nhiên, cuối cùng, chỉ những người dùng bình thường, với tất cả những điều kỳ quặc và hiểu lầm của họ, mới có thể tìm thấy tất cả các tình huống mà phần mềm không đủ tốt.

Gần đây, giám đốc điều hành của một công ty xe tự lái cạnh tranh chỉ trích Tesla để sử dụng công chúng để thử nghiệm beta. Các giám đốc điều hành cho biết họ đang sử dụng chính nhân viên của mình để làm điều đó. Ngoài thực tế là nhân viên thường ít có động lực hơn và dễ bị phân tâm hơn, miễn là bạn có thể cải thiện sản phẩm của mình bằng cách tự mình thử nghiệm nó thì bạn vẫn chưa sẵn sàng cho việc thử nghiệm beta. Đó là vấn đề. Nhưng họ sẽ học.

Coinsmart. Đặt cạnh Bitcoin-Börse ở Europa
Nguồn: https://cleantechnica.com/2021/04/29/beta-testing-tesla-fsd-on-public-roads-is-not-risky-it-is-how-you-enhance-safety/