民间传说双桂堂这两棵桂树是月宫中的嫦娥亲手培养，嫦娥借观音的净瓶水为之浇灌，遣神燕去天河衔来肥泥为之壅土，用王母娘娘的云剪为之修整，在嫦娥的精心护理下，这两株桂树枝繁叶茂，生机勃勃，在一个中秋之夜，嫦娥将它们送往人间。
这两棵桂树带着满枝的清香落在宁波天童寺院内。密云法师将这两棵桂树交给弟子破山，让他带回蜀中，兴建佛寺，传播佛法，并称桂树生根之处就是你安身之地。
破山禅师尊师命，身背桂树，跋涉了几个月，进入蜀中。一日，他落脚在万竹山。半夜里，山间霞光四射，钟鼓齐鸣，四周的村民闻声而至，只见破山和尚正在打坐参禅，他所背两株桂树已落地生根，清香四溢。
从此，破山和尚就在双桂落地之处建立禅院，并取名“双桂堂”。桂树至今尚存，枝繁叶茂，浓绿如云。每年金秋时节，桂花满枝，香飘数里，人们争相观赏。
破山禅师熟谙诗文，精于书画，著有《双桂草》、《破山语灵》等传世，所留墨迹也为后人所珍藏。
他的诗，以幽默、诙谐见长。如他的《自赞诗》写道：“这个川老蜀，浑无奇特处。问禅禅不知，问教教非熟。懒散三十年，人天忽推出。握条短杖藜，打佛兼打祖。”
他的弟子很多，遍及四川、云南、贵州等省，有的还去东南亚弘法。因此，双桂堂在东南亚地区也有一定的影响。
双桂堂创建以后，得到清朝历代皇帝的支持，连续不断地修建了二百多年，从公元一六五三至一九二六年，双桂堂历经破山、竹禅等七代祖师累世修建七殿、八堂、八院，占地面积一百二十亩（该寺最后一次修整是一九八零年）。
民国时期，双桂堂以它宏传的规模、庄严的殿堂、丰富的藏经、独特的雕塑被列为“蜀中丛林之首”。
双桂堂初创之时，正是反清复明**之际，盘踞在川东、陕南和鄂西的蔓东十三家利用易守难攻的有利地形，采取松散型联合，流动作战的战术，打着明朝的旗号，共同抗击清兵，镇守着大西南的门户。贫东十三家据险自守，长期与清廷对峙，成为清朝扫平西南诸省和一统天下的障碍。
破山奔走于反清复明阵营之间，以一个佛门中有地位、社会上有影响的高僧的身份，鼓励抗清将领们坚持斗争，复兴明朝。抗清将领们也成为破山创建双挂堂的资助者和保护伞，使双挂堂得以迅速竣工，佛事活动得以正常开展。
最终打破这一僵持局面，消灭反清武装势力，为清朝完成统一大业的是顺治十四年出任川陕三边总督的清朝重臣李国英。
而李国英在完成这项重大任务的前前后后，均注重建立和发展与双挂堂破山的关系。李国英通过书信或委派专人到双桂堂，对破山表示崇敬和景仰，并说自己对佛教如何的信仰，对佛门如何的亲近，希望有朝一日大师能发慈悲，来教育自己。
李国英不愧为清朝政府一位有胆识有谋略有德行的封疆大吏，他很快得到了破山的好感，使之成为盟友。