Abstract Searches for the exclusive decays of Higgs and Z bosons into a vector quarkonium state and a photon are performed in the $$\mu ^+\mu ^-\,\gamma $$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow> <mml:msup> <mml:mi>μ</mml:mi> <mml:mo>+</mml:mo> </mml:msup> <mml:msup> <mml:mi>μ</mml:mi> <mml:mo>-</mml:mo> </mml:msup> <mml:mspace /> <mml:mi>γ</mml:mi> </mml:mrow> </mml:math> final state with a proton–proton collision data sample corresponding to an integrated luminosity of 139 fb $$^{-1}$$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:msup> <mml:mrow /> <mml:mrow> <mml:mo>-</mml:mo> <mml:mn>1</mml:mn> </mml:mrow> </mml:msup> </mml:math> collected at $$\sqrt{s}=13$$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow> <mml:msqrt> <mml:mi>s</mml:mi> </mml:msqrt> <mml:mo>=</mml:mo> <mml:mn>13</mml:mn> </mml:mrow> </mml:math> TeV with the ATLAS detector at the CERN Large Hadron Collider. The observed data are compatible with the expected backgrounds. The 95% confidence-level upper limits on the branching fractions of the Higgs boson decays into $$J/\psi \,\gamma $$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow> <mml:mi>J</mml:mi> <mml:mo>/</mml:mo> <mml:mi>ψ</mml:mi> <mml:mspace /> <mml:mi>γ</mml:mi> </mml:mrow> </mml:math> , $$\psi (2S)\,\gamma $$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow> <mml:mi>ψ</mml:mi> <mml:mo>(</mml:mo> <mml:mn>2</mml:mn> <mml:mi>S</mml:mi> <mml:mo>)</mml:mo> <mml:mspace /> <mml:mi>γ</mml:mi> </mml:mrow> </mml:math> , and $$\Upsilon (1S,2S,3S)\,\gamma $$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow> <mml:mi>Υ</mml:mi> <mml:mo>(</mml:mo> <mml:mn>1</mml:mn> <mml:mi>S</mml:mi> <mml:mo>,</mml:mo> <mml:mn>2</mml:mn> <mml:mi>S</mml:mi> <mml:mo>,</mml:mo> <mml:mn>3</mml:mn> <mml:mi>S</mml:mi> <mml:mo>)</mml:mo> <mml:mspace /> <mml:mi>γ</mml:mi> </mml:mrow> </mml:math> are found to be $$2.0\times 10^{-4}$$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow> <mml:mn>2.0</mml:mn> <mml:mo>×</mml:mo> <mml:msup> <mml:mn>10</mml:mn> <mml:mrow> <mml:mo>-</mml:mo> <mml:mn>4</mml:mn> </mml:mrow> </mml:msup> </mml:mrow> </mml:math> , $$10.5\times 10^{-4}$$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow> <mml:mn>10.5</mml:mn> <mml:mo>×</mml:mo> <mml:msup> <mml:mn>10</mml:mn> <mml:mrow> <mml:mo>-</mml:mo> <mml:mn>4</mml:mn> </mml:mrow> </mml:msup> </mml:mrow> </mml:math> , and $$(2.5,4.2,3.4)\times 10^{-4}$$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow> <mml:mrow> <mml:mo>(</mml:mo> <mml:mn>2.5</mml:mn> <mml:mo>,</mml:mo> <mml:mn>4.2</mml:mn> <mml:mo>,</mml:mo> <mml:mn>3.4</mml:mn> <mml:mo>)</mml:mo> </mml:mrow> <mml:mo>×</mml:mo> <mml:msup> <mml:mn>10</mml:mn> <mml:mrow> <mml:mo>-</mml:mo> <mml:mn>4</mml:mn> </mml:mrow> </mml:msup> </mml:mrow> </mml:math> , respectively, assuming Standard Model production of the Higgs boson. The corresponding 95% CL upper limits on the branching fractions of the Z boson decays are $$1.2\times 10^{-6}$$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow> <mml:mn>1.2</mml:mn> <mml:mo>×</mml:mo> <mml:msup> <mml:mn>10</mml:mn> <mml:mrow> <mml:mo>-</mml:mo> <mml:mn>6</mml:mn> </mml:mrow> </mml:msup> </mml:mrow> </mml:math> , $$2.4\times 10^{-6}$$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow> <mml:mn>2.4</mml:mn> <mml:mo>×</mml:mo> <mml:msup> <mml:mn>10</mml:mn> <mml:mrow> <mml:mo>-</mml:mo> <mml:mn>6</mml:mn> </mml:mrow> </mml:msup> </mml:mrow> </mml:math> , and $$(1.1,1.3,2.4)\times 10^{-6}$$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow> <mml:mrow> <mml:mo>(</mml:mo> <mml:mn>1.1</mml:mn> <mml:mo>,</mml:mo> <mml:mn>1.3</mml:mn> <mml:mo>,</mml:mo> <mml:mn>2.4</mml:mn> <mml:mo>)</mml:mo> </mml:mrow> <mml:mo>×</mml:mo> <mml:msup> <mml:mn>10</mml:mn> <mml:mrow> <mml:mo>-</mml:mo> <mml:mn>6</mml:mn> </mml:mrow> </mml:msup> </mml:mrow> </mml:math> . An observed 95% CL interval of $$(-133,175)$$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow> <mml:mo>(</mml:mo> <mml:mo>-</mml:mo> <mml:mn>133</mml:mn> <mml:mo>,</mml:mo> <mml:mn>175</mml:mn> <mml:mo>)</mml:mo> </mml:mrow> </mml:math> is obtained for the $$\kappa _c/\kappa _\gamma $$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow> <mml:msub> <mml:mi>κ</mml:mi> <mml:mi>c</mml:mi> </mml:msub> <mml:mo>/</mml:mo> <mml:msub> <mml:mi>κ</mml:mi> <mml:mi>γ</mml:mi> </mml:msub> </mml:mrow> </mml:math> ratio of Higgs boson coupling modifiers, and a 95% CL interval of $$(-37,40)$$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow> <mml:mo>(</mml:mo> <mml:mo>-</mml:mo> <mml:mn>37</mml:mn> <mml:mo>,</mml:mo> <mml:mn>40</mml:mn> <mml:mo>)</mml:mo> </mml:mrow> </mml:math> is obtained for $$\kappa _b/\kappa _\gamma $$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow> <mml:msub> <mml:mi>κ</mml:mi> <mml:mi>b</mml:mi> </mml:msub> <mml:mo>/</mml:mo> <mml:msub> <mml:mi>κ</mml:mi> <mml:mi>γ</mml:mi> </mml:msub> </mml:mrow> </mml:math> .