后来有不少好奇之人向他询问过其中缘由，它都闭口不言，事情便被大家淡忘。
介于潘诞是阴神，地府便询问他是否乐意在地府任职，潘诞应允，成了地府一小吏，多年之后，隋炀帝被杀，隋朝灭亡，隋炀帝到地府因身前业果，胸怀怨念，成了鬼王。
有人想起潘诞被隋炀帝所杀之事，便询问潘诞向隋炀帝复仇，潘诞却推脱说，这是他种下的因果，合该有此一劫，与隋炀帝无关。
但这话显然无法说服众人，但大家都是同僚，也没人好意思逼迫他这事情，便不了了之。
后来听人说，不知道这件怎么传到了忘情孟婆大人的耳朵里，忘情孟婆大人对这种稀奇古怪的一向感兴趣，便偷偷将潘诞抓了回去。
其中审问过程大家无从所知，但后来潘诞炼丹的真相，却从随孟婆之口传了出来。
潘诞要练金丹不假，不过潘诞所说的石胆，石髓却并非真话，潘诞原本就知道石髓根本不存在，之所以这样说，是想让隋炀帝知难而退，然后他再抛砖引玉说出其真正目的。
据忘情孟婆大人说，潘诞早些年的时候，在荆山之中中捡到了一本石书，上面记载荆山有石，石中孕有逆转阴阳之物，用童男童女胆、髓各三石六斗，勾勒成阴阳颠倒大阵，再佐以星辰阵法，可以将宝物石壳融化引出其中所含奇宝，得灵宝者，可得长生！还说此石有缘者得之。
石书在潘诞看完之后，便变化作一滩粉尘，随风而散，潘诞对此深信不疑，一边寻仙修道，一边追寻荆山中奇宝下落。
几乎将荆山，翻个底朝天，潘诞也没能找到荆山中的奇宝是为何物，便扮成游方道士，在荆山周围兜售灵符，治病，暗地里打探消息，看看谁家曾经在荆山之中得到过什么奇石……
功夫不负有心人，还真叫潘诞打听出来点东西，有人告诉潘诞几百年前，卞和曾在荆山中得到过一块石头，石头里面切除了和氏璧，那人以为潘诞欲效仿卞和寻求美玉，
便好心规劝潘诞放弃幻想，说卞和之后曾经有不少人在荆山之中寻找过美玉，结果全部都无疾而终，让潘诞放弃这种一夜暴富不切实际的幻想。