সংসদীয় কমিটির সভাপতি পদ নিয়ে বিতর্ক, কক্ষ ত্যাগ বিরোধী দলের