Trước năm 1960, Ban Bí thư quyết định làm một hội trường lớn ở khu Quần Ngựa và đã di chuyển cơ sở quân sự ở đó đi nơi khác. Lý do là vào thời kỳ đó, Liên Xô làm Cung Đại hội, Trung Quốc xây dựng nhà Quốc hội, vì thế nước ta đã gấp rút thành lập Ban Chỉ huy xây dựng hội trường do đồng chí Trần Quý Hai, Phó Tổng Tham mưu trưởng làm Chỉ huy trưởng. Chúng ta cũng đã chi một số tiền lớn vào công việc xây dựng.
Các đồng chí trong Ban Bí thư xem đây là việc nhỏ nên đã không báo cáo với Bác. Nhưng không biết bằng cách nào, Bác biết tin và nói:
- Chưa nên làm vì dân ta còn khổ quá. Bao giờ dân ta khá hơn, xoá được các nhà ổ chuột thì hãy làm. Mình nghèo anh em ai người ta chả biết, không có gì phải xấu hổ vì không có hội trường lớn.
Công trình xây dựng hội trường lớn được dừng lại, chỉ xây một hội trường vừa phải, đó là Hội trường Ba Đình của chúng ta bây giờ.