אני נוחר; אז מי פטור משינה בסוכה- אני או בני משפחתי?

כיצד ינהג אדם שנוחר בחוזקה ובני משפחתו טוענים שאינם יכולים לישון בסוכה כשהוא ישן איתם? האם ניתן לפטור אותו כדי שרבים יזכו במצווה, או הם פטורים משינה בסוכה?