GitHub Copilot ha guidato gli ingegneri del software presso l'Australia and New Zealand Banking Group (ANZ Bank) verso una migliore produttività e qualità del codice e il test drive è stato sufficiente per consentire alla società finanziaria di implementare l'assistente di programmazione AI generativa nei flussi di lavoro di produzione.

Da metà giugno 2023 fino alla fine di luglio dello stesso anno, la ANZ Bank con sede a Melbourne ha condotto una sperimentazione interna di GitHub Copilot che ha coinvolto 100 dei 5,000 ingegneri dell'azienda.

La prova di sei settimane, composta da due settimane di preparazione e quattro settimane di sfide sul codice, ha cercato di esaminare come i partecipanti si sono sentiti riguardo all'utilizzo di GitHub Copilot con Microsoft Visual Studio Code e di misurare l'impatto che il sistema basato sull'intelligenza artificiale ha avuto sulla produttività dei programmatori, qualità del codice e sicurezza del software.

I risultati dell'esperimento sono stati documentati in a rapporto con un titolo che potrebbe essere un po’ più fine: “L’impatto dello strumento AI sull’ingegneria presso ANZ Bank, uno studio empirico sul copilota GitHub all’interno dell’ambiente aziendale”.

Scritto in collaborazione da Sayan Chatterjee, cloud architect presso ANZ, e Louis Liu, responsabile dell'area di ingegneria dell'intelligenza artificiale e analisi dei dati presso ANZ, il rapporto cita diversi studi precedenti sulla produttività della programmazione con Copilot.

Uno studio di Microsoft, che ora possiede GitHub, ha scoperto che programmare con un assistente AI ha migliorato la produttività di oltre il 55% – non una sorpresa considerando altri sondaggi tra i fornitori.

Un ACM/IEEE studio sulla programmazione con l’aiuto dell’intelligenza artificiale ha suggerito che l’assistenza robotica fosse più un compromesso: ha scoperto che Copilot generava più codice, sebbene la qualità del software generato fosse peggiore di quella del software creato dall’uomo.

ANZ Bank ha cercato di condurre una propria valutazione, citando il potenziale beneficio dell’intelligenza artificiale sulla produttività, riconoscendo anche che la tecnologia “solleva rischi intrinseci, incertezze e conseguenze involontarie riguardo alla proprietà intellettuale, alla sicurezza dei dati e alla privacy”.

Tali rischi – evidenziati dal causa in corso sul copyright contro GitHub, Microsoft e OpenAI rispetto a Copilot – non sono affrontati nello studio, se non come un cenno alla conformità normativa.

"Prima di iniziare l'esperimento, i rischi legati alla proprietà intellettuale, alla sicurezza dei dati e alla privacy sono stati valutati insieme ai team legali e di sicurezza di ANZ per arrivare a una serie di linee guida", ha affermato.

L'esperimento della banca ha esaminato l'effetto di Copilot su: sentiment e produttività degli sviluppatori, nonché qualità e sicurezza del codice. Ha richiesto la partecipazione di ingegneri del software, ingegneri del cloud e ingegneri dei dati per affrontare sei sfide di codifica algoritmica a settimana utilizzando Python. A quelli del gruppo di controllo non era consentito utilizzare Copilot ma era consentito effettuare ricerche in Internet o utilizzare Stack Overflow.

"Il gruppo che ha avuto accesso a GitHub Copilot è stato in grado di completare le proprie attività il 42.36% più velocemente rispetto ai partecipanti del gruppo di controllo", afferma il rapporto. "...Il codice prodotto dai partecipanti a Copilot conteneva in media meno odori e bug, il che significava che sarebbe stato più gestibile e avrebbe meno probabilità di interrompere la produzione."

Entrambi questi risultati sono stati ritenuti statisticamente significativi. Per quanto riguarda la sicurezza, l’esperimento è stato inconcludente.

"L'esperimento non è riuscito a generare dati significativi in ​​grado di misurare la sicurezza del codice", afferma il rapporto. "Tuttavia, i dati suggeriscono che Copilot non ha introdotto nel codice alcun problema di sicurezza importante."

I dati suggeriscono che Copilot non ha introdotto grossi problemi di sicurezza nel codice

Ciò potrebbe essere dovuto alla natura delle sfide, progettate per essere sufficientemente brevi da consentire ai partecipanti di completarle insieme al consueto lavoro quotidiano. Pertanto, le sfide presentate erano piuttosto brevi e non lasciavano molto spazio ai bug, osserva il rapporto.

In termini di sentiment, coloro che utilizzano Copilot si sono sentiti positivi riguardo all'esperienza, anche se non in modo così forte.

“Hanno ritenuto che li aiutasse a rivedere e comprendere il codice esistente, creare documentazione e testare il proprio codice; ritenevano che ciò consentisse loro di dedicare meno tempo al debug del codice e di ridurre il tempo di sviluppo complessivo; e hanno ritenuto che i suggerimenti forniti fossero in qualche modo utili e ben allineati con gli standard di codifica del loro progetto", afferma il rapporto.

Una scoperta interessante è che Copilot è stato il più utile per i programmatori più esperti.

"La valutazione della produttività basata sulla competenza Python ha rilevato che Copilot era vantaggioso per i partecipanti a tutti i livelli di abilità, ma era molto utile per coloro che erano programmatori Python 'esperti'", afferma lo studio, aggiungendo che l'aiutante AI ha fornito il miglioramento maggiore (in termini di tempo risparmiato) su compiti difficili.

Pur osservando che le approvazioni leggermente positive da parte dei partecipanti indicano che Copilot può essere ulteriormente migliorato, il rapporto ha comunque approvato l'inserimento di Copilot nei flussi di lavoro di produzione della banca.

"Al momento della stesura di questo documento, GitHub Copilot ha già visto un'adozione significativa all'interno dell'organizzazione, con oltre 1,000 utenti che lo utilizzano nei loro flussi di lavoro", conclude il rapporto, aggiungendo che è in corso un'indagine più ampia sull'impatto di Copilot sulla produttività. ®

Contrappunto: L’assistenza dell’intelligenza artificiale sta portando a una minore qualità del codice sorgente, ricercatori affermano

• Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
• PlatoData.Network Generativo verticale Ai. Potenzia te stesso. Accedi qui.
• PlatoAiStream. Intelligenza Web3. Conoscenza amplificata. Accedi qui.
• PlatoneESG. Carbonio, Tecnologia pulita, Energia, Ambiente, Solare, Gestione dei rifiuti. Accedi qui.
• Platone Salute. Intelligence sulle biotecnologie e sulle sperimentazioni cliniche. Accedi qui.
• Fonte: https://go.theregister.com/feed/www.theregister.com/2024/02/10/anz_bank_github_copilot/