Doe het zo:

Links je 2 bronnen, rechts je koptelefoon.
De 2 rode draden verbind je gewoon door, maar je sluit op de aarde een dubbelpolige schakelaar aan zodat je dus tussen de 2 grounds kan schakelen, en verbreek je die dan komt er ook geen geluid uit je koptelefoon. Tenminte, voor zover ik in kan denken moet dit werken.