Ягода был связан родственными узами с Я. М. Свердловым — женат на его племяннице, дочери сестры. Тем не менее ему пришлось выполнить указание Сталина об аресте сына Свердлова Андрея и его ближайшего товарища, сына известного революционера-большевика В. В. Осинского, Димы. На такой шаг Ягода никогда бы самостоятельно не пошел и инициатором в этом случае быть не мог.