香零山在市区城东五里潇水河心，南北宽15米，东西长25米，高出水面12米，是一座岩山小岛。旧产香草闻名于世，古称零陵郡，即以此山名。

香零山为天然石矶结构，地处中流，随潇水水势而展现不同的风光，势浩荡则如汪洋中之一小舟，水势弱小则岛亭昭然挺立。若雨后日出，烟锁山脚，雾雨朦胧，往来舟楫，若隐若现，给人一种烟波浩渺的意境，因而有“香零烟雨”之称，为永州八景之一。

柳宗元曾作《登蒲州石矶望江横口，潭岛深回斜对香零山》诗，怀念香零山美景。