王守仁在龙场的声望，引起贵州宣慰使安贵荣的仰慕。安贵荣向来性格刚直，对王守仁的才学与品格深为敬佩——这份敬佩，源于此前王守仁写给安贵荣的三封书信。

第一封信，是王守仁婉拒安贵荣所赠金帛，只收柴米，显示清廉自守之志。第二封信，是安贵荣欲削减驿站以示对朝廷不满，王守仁去信劝止，剖析利害，避免了一场潜在冲突。第三封信，则是在部族叛乱、安贵荣迟疑不决时所作。王守仁以“公为奢香之后，当以家国为重”相劝，终使安贵荣出兵平乱，稳定边陲。

为表谢意，安贵荣携厚礼登门，王守仁辞谢，安贵荣于是转请其为水西新修象祠作记。王守仁并未当即应允，而是唱道：“昔闻有鼻恶名扬，《尚书》载罪纪典章。唐臣毁祠斥悖逆，九州拆庙正纲常。水西独存香火旺，个中缘由费思量！”唱罢，他请安贵荣一同前往灵博山，探寻象祠得以留存的缘由。