หลวงอภิรมย์โกษากร ดำรงตำแหน่งผู้จัดการธนาคารอาคารสงเคราะห์คนแรกเมื่อปี ๒๔๙๖ ในสมัยรัฐบาลจอมพล ป. พิบูลสงคราม โดยมีระยะเวลาดำเนินงานประมาณ ๘ เดือน (มีนาคม – สิงหาคม ๒๔๙๖)