柔遠樓為三層三檐歇山頂式結構，樓高17米。其樣式內城東門之上的光化樓完全一致。樓下即為內城西門，門額刻“柔遠”二字，意思是明王朝對邊陲（關外）各游牧民族實行“懷柔”政策，安撫邊遠地區，以實現長治久安的治國方略。