공공 도로에서 Tesla FSD의 베타 테스트는 안전을 강화하는 방법입니다

새 제품에 결함이 있는 경우는 거의 없습니다. 새 집에 대한 오래된 속담이 있습니다. 건축업자가 막 지은 새 집을 살 때, 첫해에는 적들이 살게 하십시오. 친구가 XNUMX년차에 그곳에 살게 하고, XNUMX년차에 거기에 살기 위해 이사를 갑니다. 이 지혜는 우리가 베타 테스터와 알파 테스터에 대해 들어본 적이 오래 전부터 있습니다.

1954년부터 미국에서 차량의 VIN을 기반으로 차량을 리콜할 수 있게 되었습니다. 아무리 좋은 테스트를 해도 제품의 모든 단점을 찾을 수 없었고, 단점이 안전과 관련된 경우 NHTSA는 리콜을 명령할 수 있었습니다. 다시 말하지만, 이것은 일반 출시 전에 자동차를 베타 테스트하는 것이 아닙니다. 는 것은 인정 최고의 테스트를 거친 제품이라도 오랜 시간과 광범위한 사용 후에 만 \uXNUMXb\uXNUMXb발견되는 단점이 포함될 수 있습니다.

아버지는 진짜 자동차 아저씨였다. 그와 그의 친구들은 그들이 생각하는 더 나은 방법으로 차를 분해하고 다시 만드는 것보다 더 큰 기쁨을 알지 못했습니다. 1930년대 파리에서 있었던 일입니다. 에 대한 이야기 히스파노 스이자 XNUMX미터 더 길게 하기 위해 반으로 자른 것은 그들이 서로 만날 때마다 다시 말했습니다.

그들 사이에서 유행했던 또 다른 이야기는 프로토타입에 관한 것이었습니다. 개발팀에서 완벽하다고 생각했을 때 소규모 시리즈로 생산되어 기계공에게 주어 실제 테스트를 위한 자동차를 만들었습니다. 불만 없이 몇 개월 후 본격적인 생산이 시작되었습니다. 그것은 재앙이었다. 그 기계공들은 자신들의 일을 자랑스럽게 여기고 자동차를 만든 기계공만이 할 수 있는 것처럼 자동차를 유지하고 수리한다는 것이 밝혀졌습니다.

다음에 시제품을 테스트해야 할 때 회사는 운송 수단으로 말만 아는 농부를 선택했습니다. 그들은 클러치를 걸지 않고 기어를 변속했습니다. 그들은 큰 나무 신발을 브레이크와 가속기에 동시에 올려놓았다. 그들은 부서질 수 있는 모든 것을 부수었습니다. 그들은 여러 가지 방법으로 그것을 했습니다. 그 결과 거의 반세기 동안 생산된 자동차가 탄생했습니다. 단순하고 견고하며 기계공의 꿈으로 유명했습니다. 모든 볼트는 같은 크기였고, 하나의 렌치만 필요했습니다. 그 차는 시트로엥 2CV였습니다. 아마도 아버지가 가장 좋아하는 차였을 것입니다.

이 테스트는 "이 제품이 완전 안전합니까?"라고도 합니다. 아니, 아무것도 아니다. 그러나 가능한 한 가깝게 접근하는 가장 좋은 방법은 최악의 방법으로 사용하는 것입니다.

저는 직장 생활의 대부분을 소프트웨어 개발 분야에서 일했습니다. 주로 금융 소프트웨어였습니다. 제 직업 중 하나는 매달 약 십만 명의 교사에게 급여를 지급하는 시스템을 테스트하는 것이었습니다. 다른 하나는 유로 도입 당시 SWIFT 시스템을 사용한 국제 송금이었습니다. 그러한 시스템에 버그가 있으면 비용이 많이 듭니다. 엉뚱한 사람에게 지급되거나 엉뚱한 금액이 지급되면 돈을 돌려받기 어렵습니다. 테스트는 매우 엄격했습니다. 매달 버그 수정이 있었습니다. 버그가 없는 시스템은 없습니다. 수백만 명의 사용자와 수백 개의 하위 시스템이 있는 은행 시스템도 예외는 아닙니다. 잘 정의되고 테스트된 급여 시스템도 없습니다. 버그도 포함되어 있습니다. 은행과 급여 회사에는 프로덕션에서 시스템을 패치할 수 있는 전담 팀이 있었습니다.

베타 테스트 소프트웨어의 경우

시스템이 더 복잡해지면 더 많은 버그가 생깁니다. 더 많은 사람들이 시스템을 사용하면 더 많은 버그가 발견됩니다. 시스템이 더 많은 환경에 배포되면 상상하지 못한 상황이 더 많이 발생합니다.

첫 번째 테스트 라운드는 개발자가 수행합니다. 그들이 만들었다고 생각하는 것을 만들었습니까? 그러나 자신의 제품이 좋다는 것을 알고 있기 때문에 실제로 테스트할 수는 없습니다.

두 번째 라운드는 QA(품질 보증) 부서에서 수행합니다. 사양을 기반으로 QA는 사양의 모든 조건을 테스트하는 매우 큰 테스트 세트를 작성할 수 있습니다. 그러나 QA는 사양을 테스트할 수 없습니다. 상상력이 허용하는 한 다른 테스트를 만들 수 있지만 그리 많지 않습니다.

세 번째 라운드는 사용자가 통제된 환경에서 테스트하고 평소에 하던 대로 하고 원하지 않는 모든 것을 보고하는 것입니다. 이것은 사양의 누락과 실수를 드러냅니다.

각 라운드의 결과는 개발자에게 돌아가고 전체 서커스가 다시 시작됩니다. 다음 라운드는 이전 라운드에 오류가 없을 때만 시작됩니다.

네 번째 라운드는 운영 세계로의 통합입니다. 다른 시스템을 방해하지 않고 작동하고 수행할 수 있습니까? 다른 시스템의 방해에 면역입니까? 이것은 간단해 보이지만 현실 세계는 매우 복잡합니다. 제한된 수의 인터페이스가 있는 단일 메인프레임에서 주로 작업했습니다. Microsoft Office는 거의 무한한 수의 인터페이스와 구성을 갖춘 XNUMX억 대 이상의 컴퓨터에서 작동합니다.

이 네 번째 라운드는 테스트 스크립트를 실행하는 수천 대의 서로 다른 구성 컴퓨터가 있는 테스트 랩에서 시작됩니다. 이전 버전을 브레이크로 만든 사용 사례의 기록이 사용됩니다. 아마도 수십만 개의 알려진 문제 상황이 테스트될 것입니다. 소프트웨어는 가능한 한 안정적입니다.

그러나 이것은 개발 부서와 QA 전문가를 위해 테스트할 수 있는 것의 끝입니다. 그리고 아직 일반 대중에게 공개하기에는 시스템에 버그가 너무 많습니다. 경험과 통계는 많은 사람들에게 이 추악한 진실을 가르쳐 왔습니다.

초기에 소프트웨어 업계는 버전 ##.1을 출시했으며 모든 숙련된 사용자는 버그가 있을 것이라는 것을 알고 있었습니다. 일부 혁신가와 얼리 어답터는 호기심과 모험을 위해 그것을 사용할 것입니다. 몇 개월 후 버전 ##.2가 대부분의 버그가 제거된 상태로 출시됩니다. 나중에 버전 ##.23 또는 ##.31이 일반적으로 사용되는 버전이 됩니다.

이 시스템의 첫 번째 사용자는 릴리스되기 전에 소프트웨어를 엿볼 수 있는 커뮤니티가 되었습니다. 베타 테스트의 현재 관행이 탄생했습니다.

그리고 이 작은 역사를 통해 베타 소프트웨어가 무엇인지 분명합니다. 개발팀이 생산할 수 있는 최고의 소프트웨어이지만 널리 사용하기에는 충분하지 않습니다. 불완전함과 가끔 발생하는 버그를 용인할 수 있는 사용자에게는 훌륭하지만, 제대로 작동해야 한다고 생각하는 사용자에게는 아직 충분하지 않습니다.

릴리스 ##.1이라고 하는 대신 선택한 사용자에 대해서만 베타 릴리스를 사용하는 것의 이점은 모르는 사람으로부터 멀리 유지된다는 것입니다. 릴리스 23.1은 23번째 버전이기 때문에 매우 좋아야 한다는 오해는 없습니다.

실제 사용자를 대상으로 한 베타 테스트는 개발에서 얻을 수 있는 것과 일반 대중이 기대하는 것 사이의 간극을 넘을 수 있는 유일한 방법입니다. 좋은 베타 테스트 프로그램은 소수의 테스터 그룹, 제품 사용에 대한 기술과 의지, 그리고 입증된 능력이 중요하고 개선이 필요한 부분을 설명하는 사람들로 시작됩니다.

소프트웨어가 더 성숙해짐에 따라 베타 테스터 그룹이 확대될 수 있습니다. 일부 베타 테스트에는 수백만 명의 사용자가 참여했습니다. 베타 테스트 단계가 길수록 제품이 더 좋아집니다. 일부 회사(예: Google)는 수년 동안 소프트웨어를 베타 버전으로 유지합니다.

AI 테스트

신경망 기반 인공 지능(AI) 시스템에는 또 다른 문제가 있습니다. 사양이 없습니다. 설계에 지정된 모든 조건을 기반으로 테스트 세트를 구축할 수는 없습니다. 신경망(NN)에는 수백만 가지 상황과 솔루션이 제공되었습니다. 자체적으로 인식하고 해결하는 코드를 작성했습니다. 이것을 어떻게 테스트할 수 있습니까?

기본적으로 다른 소프트웨어의 테스트가 수행되는 방식과 동일합니다. 테스터의 창의성에 대한 요구가 더 커집니다. AI는 올바른 솔루션이 알려진 가상 환경에서 수백만 가지 상황을 제공할 수 있습니다. 나는 이것에 대해 썼습니다. 도장에 대해 토론하다.

테슬라의 완전자율주행(FSD) 소프트웨어의 경우 이 방식을 통해 AI를 유능한 수준으로 끌어올릴 수 있다. 사례는 Tesla 운전자가 업로드한 수백만 건의 사례를 기반으로 합니다. 그러나 이러한 가상 사례는 실제 테스트를 대체할 수 없습니다.

나는 기사를 썼다 Tesla가 찾을 수 있는 최고의 베타 테스터는 운전 시험관입니다.. 이것은 아마도 알파 테스트라고 하는 것이 더 나을 것입니다. 개발팀 주관으로 체계적으로 수행되는 마지막 점검이다. 이 사람들은 기능이 정말 완벽하고 모든 정상적이고 예측 가능한 교통 상황을 처리할 수 있는지 판단하는 데 완벽합니다. (그들이 할 수 없는 것은 소프트웨어를 완벽하게 만드는 데 도움이 되는 것입니다.)

그러나 결국에는 모든 기이함과 오해를 가진 일반 사용자만이 소프트웨어가 충분하지 않은 모든 상황을 찾을 수 있습니다.

최근 자율주행 경쟁업체 임원들이 테슬라를 비판하다 베타 테스트를 위해 대중을 사용하기 위해. 그들은 자신의 직원을 사용하여 그렇게 했다고 경영진은 말했습니다. 직원들이 의욕을 덜 느끼고 산만해지기 쉽다는 사실 외에도, 직접 테스트하여 제품을 개선할 수 있는 한 베타 테스트를 할 준비가 되지 않은 것입니다. 그것이 핵심이야. 그러나 그들은 배울 것입니다.

CleanTechnica의 독창성을 인정하십니까? 고려하는 것을 고려하십시오 CleanTechnica 회원, 후원자, 기술자 또는 대사 — 또는 후원자 Patreon.