香零山在市區城東五里瀟水河心，南北寬15米，東西長25米，高出水面12米，是一座巖山小島。舊產香草聞名于世，古稱零陵郡，即以此山名。

香零山為天然石磯結構，地處中流，隨瀟水水勢而展現不同的風光，勢浩蕩則如汪洋中之一小舟，水勢弱小則島亭昭然挺立。若雨后日出，煙鎖山腳，霧雨朦朧，往來舟楫，若隱若現，給人一種煙波浩渺的意境，因而有“香零煙雨”之稱，為永州八景之一。

柳宗元曾作《登蒲州石磯望江橫口，潭島深回斜對香零山》詩，懷念香零山美景。