1Max Planck Institute for the Science of Light, Erlangen, Tyskland
2Institutionen för fysik, Friedrich-Alexander Universität Erlangen-Nürnberg, Tyskland
3Univ Lyon, ENS de Lyon, CNRS, Laboratoire de Physique, F-69342 Lyon, Frankrike
Hitta det här uppsatsen intressant eller vill diskutera? Scite eller lämna en kommentar på SciRate.
Abstrakt
Kvantkontroll har varit av ökande intresse de senaste åren, t.ex. för uppgifter som tillståndsinitiering och stabilisering. Feedback-baserade strategier är särskilt kraftfulla, men också svåra att hitta, på grund av det exponentiellt ökade sökutrymmet. Djup förstärkningsinlärning har mycket lovande i detta avseende. Det kan ge nya svar på svåra frågor, till exempel om icke-linjära mätningar kan kompensera för linjär, begränsad kontroll. Här visar vi att förstärkningsinlärning framgångsrikt kan upptäcka sådana feedbackstrategier, utan förkunskaper. Vi illustrerar detta för tillståndsberedning i en kavitet som är föremål för kvant-icke-demoleringsdetektering av fotonnummer, med en enkel linjär drift som kontroll. Focktillstånd kan produceras och stabiliseras med mycket hög kvalitet. Det är till och med möjligt att nå superpositionstillstånd, förutsatt att mäthastigheterna för olika Fock-tillstånd också kan kontrolleras.
Utvald bild: Schema av RL-algoritmen. RL-agenten kan endast tillämpa enkel linjär kontroll, i vårt fall förskjutning, på ett kvanttillstånd i en kavitet. Den icke-linjära svaga mätningen gör det möjligt för agenten att driva systemet mot komplexa superpositioner. Här visas Wigner-funktionen för $frac{|1rangle+|3rangle}{sqrt{2}}$. RL-agenten är modellerad med ett neuralt nätverk för feed-forward.
Populär sammanfattning
► BibTeX-data
► Referenser
[1] Navin Khaneja, Timo Reiss, Cindie Kehlet, Thomas Schulte-Herbrüggen och Steffen J. Glaser. "Optimal kontroll av kopplad spindynamik: Design av NMR-pulssekvenser med gradientuppstigningsalgoritmer". Journal of Magnetic Resonance 172, 296–305 (2005).
https:///doi.org/10/cg8cdh
[2] P. de Fouquieres, SG Schirmer, SJ Glaser och Ilya Kuprov. "Andra ordningens gradientuppstigningspulsteknik". Journal of Magnetic Resonance 212, 412–417 (2011).
https:///doi.org/10/cxw5qw
[3] AC Doherty och K. Jacobs. "Feedback-kontroll av kvantsystem med hjälp av kontinuerlig tillståndsuppskattning". Phys. Rev. A 60, 2700-2711 (1999).
https:///doi.org/10/bh8x9s
[4] Pavel Bushev, Daniel Rotter, Alex Wilson, François Dubin, Christoph Becher, Jürgen Eschner, Rainer Blatt, Viktor Steixner, Peter Rabl och Peter Zoller. "Feedback-kylning av en enda infångad jon". Phys. Rev. Lett. 96, 043003 (2006).
https:///doi.org/10/cqhmv3
[5] Howard M. Wiseman och Gerard J. Milburn. "Kvantmätning och kontroll". Cambridge University Press. Cambridge (2009).
https: / / doi.org/ 10.1017 / CBO9780511813948
[6] GG Gillett, RB Dalton, BP Lanyon, MP Almeida, M. Barbieri, GJ Pryde, JL O'Brien, KJ Resch, SD Bartlett och AG White. "Experimentell återkopplingskontroll av kvantsystem med hjälp av svaga mätningar". Phys. Rev. Lett. 104, 080503 (2010).
https:///doi.org/10/dbb3n5
[7] Clément Sayrin, Igor Dotsenko, Xingxing Zhou, Bruno Peaudecerf, Théo Rybarczyk, Sébastien Gleyzes, Pierre Rouchon, Mazyar Mirrahimi, Hadis Amini, Michel Brune, Jean-Michel Raimond och Serge Haroche. "Kvantfeedback i realtid förbereder och stabiliserar fotontalstillstånd". Nature 477, 73–77 (2011).
https:///doi.org/10/br77r4
[8] P. Campagne-Ibarcq, E. Flurin, N. Roch, D. Darson, P. Morfin, M. Mirrahimi, MH Devoret, F. Mallet och B. Huard. "Ihållande kontroll av en supraledande Qubit genom stroboskopisk mätåterkoppling". Phys. Rev. X 3, 021008 (2013).
https:///doi.org/10/gf68sx
[9] Nissim Ofek, Andrei Petrenko, Reinier Heeres, Philip Reinhold, Zaki Leghtas, Brian Vlastakis, Yehan Liu, Luigi Frunzio, SM Girvin, L. Jiang, Mazyar Mirrahimi, MH Devoret och RJ Schoelkopf. "Förlänga livslängden för en kvantbit med felkorrigering i supraledande kretsar". Nature 536, 441–445 (2016).
https:///doi.org/10/f83z4r
[10] Massimiliano Rossi, David Mason, Junxin Chen, Yeghishe Tsaturyan och Albert Schliesser. "Mätningsbaserad kvantkontroll av mekanisk rörelse". Nature 563, 53–58 (2018).
https:///doi.org/10/gfgqnk
[11] Shay Hacohen-Gourgy och Leigh S. Martin. "Kontinuerliga mätningar för kontroll av supraledande kvantkretsar". Framsteg i fysik: X 5, 1813626 (2020). arXiv:2009.07297.
https:///doi.org/10/ghbvx3
arXiv: 2009.07297
[12] Alessio Fallani, Matteo AC Rossi, Dario Tamascelli och Marco G. Genoni. "Lära sig feedbackkontrollstrategier för kvantmetrologi". PRX Quantum 3, 020310 (2022).
https: / / doi.org/ 10.1103 / PRXQuantum.3.020310
[13] Richard S. Sutton och Andrew G. Barto. "Reinforcement Learning, andra upplagan: En introduktion". MIT Press. (2018). URL: http:///incompleteideas.net/book/the-book.html.
http:///incompleteideas.net/book/the-book.html
[14] Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Andrei A. Rusu, Joel Veness, Marc G. Bellemare, Alex Graves, Martin Riedmiller, Andreas K. Fidjeland, Georg Ostrovski, Stig Petersen, Charles Beattie, Amir Sadik, Ioannis Antonoglou, Helen King , Dharshan Kumaran, Daan Wierstra, Shane Legg och Demis Hassabis. "Kontroll på mänsklig nivå genom djup förstärkningsinlärning". Nature 518, 529–533 (2015).
https:///doi.org/10/gc3h75
[15] Tuomas Haarnoja, Sehoon Ha, Aurick Zhou, Jie Tan, George Tucker och Sergey Levine. "Lära sig gå via djup förstärkningsinlärning" (2019). arXiv:1812.11103.
arXiv: 1812.11103
[16] Thomas Fösel, Petru Tighineanu, Talitha Weiss och Florian Marquardt. "Förstärkt lärande med neurala nätverk för kvantåterkoppling". Phys. Rev. X 8, 031084 (2018).
https:///doi.org/10/gd8335
[17] Chunlin Chen, Daoyi Dong, Han-Xiong Li, Jian Chu och Tzyh-Jong Tarn. "Fidelity-Based Probabilistic Q-Learning för kontroll av kvantsystem". IEEE Transactions on Neural Networks and Learning Systems 25, 920–933 (2014).
https:///doi.org/10/f5zh6v
[18] Moritz August och José Miguel Hernández-Lobato. "Ta gradienter genom experiment: LSTM och minnes proximal policyoptimering för Black-Box Quantum Control". I Rio Yokota, Michèle Weiland, John Shalf och Sadaf Alam, redaktörer, High Performance Computing. Sidorna 591–613. Lecture Notes in Computer ScienceCham (2018). Springer International Publishing.
https:///doi.org/10/gqcqtq
[19] Marin Bukov, Alexandre GR Day, Dries Sels, Phillip Weinberg, Anatoli Polkovnikov och Pankaj Mehta. "Förstärkt lärande i olika faser av kvantkontroll". Phys. Rev. X 8, 031086 (2018). arXiv:1705.00565.
https:///doi.org/10/gd8332
arXiv: 1705.00565
[20] Riccardo Porotti, Dario Tamascelli, Marcello Restelli och Enrico Prati. "Koherent transport av kvanttillstånd genom djup förstärkningsinlärning". Commun Phys 2, 1–9 (2019).
https:///doi.org/10/ggqh3c
[21] Murphy Yuezhen Niu, Sergio Boixo, Vadim N. Smelyanskiy och Hartmut Neven. "Universell kvantkontroll genom djup förstärkningsinlärning". npj Quantum Information 5, 1–8 (2019).
https:///doi.org/10/ggqh3b
[22] Zheng An och DL Zhou. "Djup förstärkningsinlärning för quantum gate control". EPL 126, 60002 (2019).
https:///doi.org/10/ggnj4t
[23] Han Xu, Junning Li, Liqiang Liu, Yu Wang, Haidong Yuan och Xin Wang. "Generaliserbar kontroll för uppskattning av kvantparameter genom förstärkningsinlärning". npj Quantum Inf 5, 1–8 (2019).
https:///doi.org/10/gmms2j
[24] Juan Miguel Arrazola, Thomas R. Bromley, Josh Izaac, Casey R. Myers, Kamil Brádler och Nathan Killoran. "Maskininlärningsmetod för tillståndsberedning och grindsyntes på fotoniska kvantdatorer". Quantum Sci. Technol. 4, 024004 (2019).
https:///doi.org/10/ggv8vp
[25] L. O'Driscoll, R. Nichols och PA Knott. "En hybrid maskininlärningsalgoritm för att designa kvantexperiment". Quantum Mach. Intell. 1, 5–15 (2019).
https:///doi.org/10/gk2hnk
[26] Thomas Fösel, Stefan Krastanov, Florian Marquardt och Liang Jiang. "Effektiv kavitetskontroll med SNAP-grindar" (2020). arXiv:2004.14256.
arXiv: 2004.14256
[27] Mogens Dalgaard, Felix Motzoi, Jens Jakob Sørensen och Jacob Sherson. "Global optimering av kvantdynamik med AlphaZero djupgående utforskning". npj Quantum Inf 6, 6 (2020).
https://doi.org/10.1038/s41534-019-0241-0
[28] Hailan Ma, Daoyi Dong, Steven X. Ding och Chunlin Chen. "Läroplansbaserad djup förstärkningsinlärning för kvantkontroll" (2021). arXiv:2012.15427.
arXiv: 2012.15427
[29] Zheng An, Hai-Jing Song, Qi-Kai He och DL Zhou. "Kvantoptimal kontroll av dissipativa kvantsystem på flera nivåer med förstärkningsinlärning". Phys. Rev. A 103, 012404 (2021).
https://doi.org/10/ghs825
[30] Yuval Baum, Mirko Amico, Sean Howell, Michael Hush, Maggie Liuzzi, Pranav Mundada, Thomas Merkh, Andre RR Carvalho och Michael J. Biercuk. "Experimentell djupförstärkningsinlärning för felrobust portuppsättningsdesign på en supraledande kvantdator". PRX Quantum 2, 040324 (2021).
https: / / doi.org/ 10.1103 / PRXQuantum.2.040324
[31] Thomas Fösel, Murphy Yuezhen Niu, Florian Marquardt och Li Li. "Kvantumkretsoptimering med djup förstärkningsinlärning" (2021). arXiv:2103.07585.
arXiv: 2103.07585
[32] E. Flurin, LS Martin, S. Hacohen-Gourgy och I. Siddiqi. "Att använda ett återkommande neuralt nätverk för att rekonstruera kvantdynamiken för en supraledande Qubit från fysiska observationer". Fysisk granskning X 10 (2020).
https:///doi.org/10/ggz5cm
[33] DT Lennon, H. Moon, LC Camenzind, Liuqi Yu, DM Zumbühl, G. a. D. Briggs, MA Osborne, EA Laird och N. Ares. "Mäta en kvantenhet effektivt med hjälp av maskininlärning". npj Quantum Information 5, 1–8 (2019).
https:///doi.org/10/ggz5s8
[34] Kyunghoon Jung, MH Abobeih, Jiwon Yun, Gyeonghun Kim, Hyunseok Oh, Ang Henry, TH Taminiau och Dohun Kim. "Djup inlärning förbättrade individuell kärnspinndetektering". npj Quantum Inf 7, 1–9 (2021).
https:///doi.org/10/gqcqtg
[35] V Nguyen. "Djup förstärkningsinlärning för effektiv mätning av kvantenheter". npj Quantum InformationPage 9 (2021).
https:///doi.org/10/gqcqth
[36] Alexander Hentschel och Barry C. Sanders. "Maskininlärning för exakt kvantmätning". Phys. Rev. Lett. 104, 063603 (2010).
https:///doi.org/10/bmzp9t
[37] M. Tiersch, EJ Ganahl och HJ Briegel. "Adaptiv kvantberäkning i föränderliga miljöer med hjälp av projektiv simulering". Sci Rep 5, 12874 (2015).
https://doi.org/10/bt49
[38] Pantita Palittapongarnpim, Peter Wittek, Ehsan Zahedinejad, Shakib Vedaie och Barry C. Sanders. "Lärande i kvantkontroll: Högdimensionell global optimering för bullrig kvantdynamik". Neurocomputing 268, 116–126 (2017).
https://doi.org/10/cdb3
[39] Jelena Mackeprang, Durga B. Rao Dasari och Jörg Wrachtrup. "En förstärkningsinlärningsmetod för kvanttillståndsteknik". Quantum Mach. Intell. 2, 5 (2020).
https:///doi.org/10/gg2jmq
[40] Christian Sommer, Muhammad Asjad och Claudiu Genes. "Utsikter för förstärkningsinlärning för samtidig dämpning av många mekaniska lägen". Sci Rep 10, 2623 (2020).
https:///doi.org/10/gqcqtk
[41] Zhikang T. Wang, Yuto Ashida och Masahito Ueda. "Deep Reinforcement Learning Control of Quantum Cartpoles". Phys. Rev. Lett. 125, 100401 (2020).
https: / / doi.org/ 10.1103 / PhysRevLett.125.100401
[42] Sangkha Borah, Bijita Sarma, Michael Kewming, Gerard J. Milburn och Jason Twamley. "Mätningsbaserad feedback kvantkontroll med djup förstärkningsinlärning för en dubbelbrunns icke-linjär potential". Phys. Rev. Lett. 127, 190403 (2021).
https: / / doi.org/ 10.1103 / PhysRevLett.127.190403
[43] VV Sivak, A. Eickbusch, H. Liu, B. Royer, I. Tsioutsios och MH Devoret. "Modellfri kvantkontroll med förstärkningsinlärning". Phys. Rev. X 12, 011059 (2022).
https: / / doi.org/ 10.1103 / PhysRevX.12.011059
[44] Antoine Essig, Quentin Ficheux, Théau Peronnin, Nathanaël Cottet, Raphaël Lescanne, Alain Sarlette, Pierre Rouchon, Zaki Leghtas och Benjamin Huard. "Multiplex fotonnummermätning". Phys. Rev. X 11, 031045 (2021).
https: / / doi.org/ 10.1103 / PhysRevX.11.031045
[45] B. Peaudecerf, C. Sayrin, X. Zhou, T. Rybarczyk, S. Gleyzes, I. Dotsenko, JM Raimond, M. Brune och S. Haroche. "Quantum feedback-experiment som stabiliserar Fock-tillstånd av ljus i en kavitet". Phys. Rev. A 87, 042320 (2013).
https://doi.org/10/ggz4fd
[46] X. Zhou, I. Dotsenko, B. Peaudecerf, T. Rybarczyk, C. Sayrin, S. Gleyzes, JM Raimond, M. Brune och S. Haroche. "Fält låst till ett Fock State av Quantum Feedback med enstaka fotonkorrigeringar". Phys. Rev. Lett. 108, 243602 (2012).
https:///doi.org/10/ggz6wf
[47] Jacob C. Curtis, Connor T. Hann, Salvatore S. Elder, Christopher S. Wang, Luigi Frunzio, Liang Jiang och Robert J. Schoelkopf. "Single-shot nummerupplöst detektering av mikrovågsfotoner med felreducering". Phys. Rev. A 103, 023705 (2021).
https:///doi.org/10/gqcqtn
[48] Christine Guerlin, Julien Bernu, Samuel Deléglise, Clément Sayrin, Sébastien Gleyzes, Stefan Kuhr, Michel Brune, Jean-Michel Raimond och Serge Haroche. "Progressiv fälttillståndskollaps och kvant-icke-rivningsfotonräkning". Nature 448, 889–893 (2007).
https:///doi.org/10/ffp76b
[49] BR Johnson, MD Reed, AA Houck, DI Schuster, Lev S. Bishop, E. Ginossar, JM Gambetta, L. DiCarlo, L. Frunzio, SM Girvin och RJ Schoelkopf. "Quantum non-demolition detektion av enstaka mikrovågsfotoner i en krets". Nature Phys 6, 663–667 (2010).
https:///doi.org/10/fqfbc2
[50] B. Peaudecerf, T. Rybarczyk, S. Gerlich, S. Gleyzes, JM Raimond, S. Haroche, I. Dotsenko och M. Brune. "Adaptiv kvantfri mätning av ett fotonnummer". Phys. Rev. Lett. 112, 080401 (2014).
https:///doi.org/10/gqcqtf
[51] Crispin Gardiner och Peter Zoller. "Quantum Noise: A Handbook of Markovian and Non-Markovian Quantum Stokastical Methods with Applications to Quantum Optics". Springer-serien i synergetik. Springer-Verlag. Berlin Heidelberg (2004). Tredje upplagan. URL: link.springer.com/book/9783540223016.
https: / / link.springer.com/ book / 9783540223016
[52] John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford och Oleg Klimov. "Proximala policyoptimeringsalgoritmer" (2017). arXiv:1707.06347.
arXiv: 1707.06347
[53] John Schulman, Sergey Levine, Philipp Moritz, Michael I. Jordan och Pieter Abbeel. "Trust Region Policy Optimization" (2017). arXiv:1502.05477.
arXiv: 1502.05477
[54] Ashley Hill, Antonin Raffin, Maximilian Ernestus, Adam Gleave, Anssi Kanervisto, Rene Traore, Prafulla Dhariwal, Christopher Hesse, Oleg Klimov, Alex Nichol, Matthias Plappert, Alec Radford, John Schulman, Szymon Sidor och Yuhuai Wu. "Stabila baslinjer". url: github.com/hill-a/stable-baselines.
https:///github.com/hill-a/stable-baselines
[55] Weizhou Cai, Yuwei Ma, Weiting Wang, Chang-Ling Zou och Luyan Sun. "Bosoniska kvantfelkorrigeringskoder i supraledande kvantkretsar". Grundforskning 1, 50–67 (2021).
https:///doi.org/10/gjjt66
[56] FAM de Oliveira, MS Kim, PL Knight och V. Buek. "Egenskaper för förskjutna nummertillstånd". Physical Review A 41, 2645-2652 (1990).
https:///doi.org/10/cj5bf5
[57] Michael Martin Nieto. "Förskjutna och pressade antal stater". Physics Letters A 229, 135–143 (1997). arXiv:quant-ph/9612050.
https:///doi.org/10/c2tkrp
arXiv: kvant-ph / 9612050
Citerad av
[1] Anna Dawid, Julian Arnold, Borja Requena, Alexander Gresch, Marcin Płodzień, Kaelan Donatella, Kim A. Nicoli, Paolo Stornati, Rouven Koch, Miriam Büttner, Robert Okuła, Gorka Muñoz-Gil, Rodrigo A. Vargas-Hernández, Alba Cervera-Lierta, Juan Carrasquilla, Vedran Dunjko, Marylou Gabrié, Patrick Huembeli, Evert van Nieuwenburg, Filippo Vicentini, Lei Wang, Sebastian J. Wetzel, Giuseppe Carleo, Eliška Greplová, Roman Krems, Florian Marquardt, Michał Tomza, Maciej Lewenstein, och Alexandre Dauphin, "Moderne tillämpningar av maskininlärning i kvantvetenskap", arXiv: 2204.04198.
[2] Riccardo Porotti, Vittorio Peano och Florian Marquardt, "Gradient Ascent Pulse Engineering with Feedback", arXiv: 2203.04271.
[3] Luigi Giannelli, Pierpaolo Sgroi, Jonathon Brown, Gheorghe Sorin Paraoanu, Mauro Paternostro, Elisabetta Paladino och Giuseppe Falci, "En handledning om optimal kontroll och förstärkning av inlärningsmetoder för kvantteknologier", Fysikbokstäver A 434, 128054 (2022).
[4] Alessio Fallani, Matteo AC Rossi, Dario Tamascelli och Marco G. Genoni, "Learning Feedback Control Strategies for Quantum Metrology", PRX Quantum 3 2, 020310 (2022).
[5] Björn Annby-Andersson, Faraj Bakhshinezhad, Debankur Bhattacharyya, Guilherme De Sousa, Christopher Jarzynski, Peter Samuelsson och Patrick P. Potts, "Quantum Fokker-Planck master equation for continuous feedback control", arXiv: 2110.09159.
[6] Paolo Andrea Erdman och Frank Noé, "Köra black-box kvanttermiska maskiner med optimal effekt/effektivitet avvägningar med hjälp av förstärkningsinlärning", arXiv: 2204.04785.
[7] David A. Herrera-Martí, "Policy Gradient Approach to Compilation of Variational Quantum Circuits", arXiv: 2111.10227.
Ovanstående citat är från SAO / NASA ADS (senast uppdaterad framgångsrikt 2022-06-28 11:51:08). Listan kan vara ofullständig eftersom inte alla utgivare tillhandahåller lämpliga och fullständiga citatdata.
Det gick inte att hämta Crossref citerade data under senaste försöket 2022-06-28 11:51:06: Det gick inte att hämta citerade data för 10.22331 / q-2022-06-28-747 från Crossref. Detta är normalt om DOI registrerades nyligen.
Detta papper publiceras i Quantum under Creative Commons Attribution 4.0 International (CC BY 4.0) licens. Upphovsrätten kvarstår med de ursprungliga upphovsrättsinnehavarna som författarna eller deras institutioner.
