宋靖康二年(1127年)四月，宋徽宗、宋钦宗被金兵虏去，北宋宣告灭亡。五月，徽宗的第九子、康王赵构在南京(今河南商丘)建南宋朝，为高宗皇帝，年号为“建炎”。

　　赵构称帝以后，依然承袭北宋对金国屈辱投降政策，他不但不敢还朝开封，反而从商丘退避扬州。南宋的腐败无能，使金兵更加胆大妄为，在金兵大兴进攻下，赵构从扬州逃到镇江，又从镇江逃到杭州。建炎三年十二月初五，从杭州逃到明州。十二月十九日，又从镇海乘楼船逃到舟山，在紫微皮岙躲避金兵。对此，志书都有记载。《中国古今地名大辞典》载：“紫微尖山，浙江定海县西，盘纡幽秀，或曰古名紫皮，因宋高宗避金入航海至此，更今名，又名宋家尖。”清康熙《定海县志》载：“紫微尖山，县西十五里，一名宋家尖山，盘纡幽秀，或曰古名紫皮，因宋高宗避金入航海至此，遂更名为紫微。”《紫微岙图》标明，紫微尖山在(今双桥街道与盐仓街道衔接部)石镜山北面，后来的志书和地图都以此为准。

　　其实，起初紫微尖山和紫微岙是同一地方的两个名称，到了清代，紫微岙已延伸到现在双桥街道的辖区范围，而紫微尖山是紫微岙的一座山而已。清代以来的志书和地图所标的紫微尖山是在靠近盐仓的地方。山高227.2米，山势陡峻，没有曲折的山岙。山的东西南三面是田野和居民住宅，不僻静、不隐蔽。宋高宗及其随行人员有数十人，不可能分散住在农户家中。住在哪里呢？根据许多史料记载，宋高宗先到县城，后转到紫微岙，论僻静、隐蔽，这紫微尖山不如盐仓的长春、共裕。亦也有认为宋高宗是从野鸭山南面海滩登陆，直接到现在的里廻峰避难的。后一种说法也是比较可信。

　　里廻峰本来是寺名，不是山名。在北宋时期，舟山岛西部有两个回峰寺，香火都比较旺，为了便于区别，人们把岑港的回峰寺称“外回峰寺”，把紫微岙的回峰寺称为“里廻峰寺”。里廻峰寺所在的这座山，从西南面看是石头山，多长青苔，是紫色的，故称“紫皮”。由于曲折的山体，形成了“口小肚大”的山岙，称为“紫皮岙”；岙里的回峰寺有三大殿，60余间禅房。寺宇周围的树木成荫，显得僻静、隐蔽。与“盘纡幽秀”之说相吻合。相传，因宋高宗在此避金兵，故把紫皮岙更名为“紫微岙”。元代时，邑人为了避嫌，曾把紫微岙更名为“纸甓岙”(见元大德《昌国州图志》)。明洪武年间，朝廷以“悬居海盗，易生寇盗”为由，迁46岛居民入内陆，接着又废昌国县。清顺治年间，又经过大内迁，定海人全数迁入内陆。直到清康熙二十三年(1684年)，朝廷颁“展海令”、开海禁，定海才开始展复。就因为大内迁、废县置，把宋高宗在紫微岙避金兵时的许多细节也都遗忘了。

　　宋高宗驻跸里廻峰，是有一定史料依据的。

　　其一，《宁波市志。大事记》载，宋建炎三年(1129年)十二月，“十五日，赵构乘马出东渡门，登楼船。十七日，泊定海(今镇海)，发随从诸君‘雪寒钱’。十九日，至昌国县(今舟山)。据传，驻紫皮岙回峰寺，待机行止。”因为历史原因，志书未能记载这一细节，故称“据传”，但是它与另外的一些记载相吻合。

　　其二，台湾出版的《中国历代战争史》对宋高宗避金兵于昌国紫皮岙的事有较详细的记载，说宋高宗于“二十六日庚子，自昌国航行南走”，次年“正月初三丙午，高宗御船至台州章安镇。初七庚戊，金增兵攻明州，刘洪道与浙东副总管张思正引所部奔天童山接驾，闻帝已南去。”清康熙《定海县志》载：“天童山，县西十六里，有炮台，内有紫皮岙居民千数。”清光绪《定海厅志》载：“古名紫皮，宋时富都乡茹侯村。宋建炎三年，宋高宗赵构避金兵入海，曾泊此登岸，故更名“紫微”。”按照常理，刘洪道、张思正来接驾，应该从县城方向来的，要经过盐仓，先见到紫微尖山，不可能到天童山才“闻帝已南去”。从路程看，天童山至紫微尖山东西约3公里，而至里廻峰南北约1公里。可见，宋高宗住里廻峰是最可能的。

　  其三，1976年里廻峰发现汉代青铜锥斗，斗高24厘米，口径16厘米，翻唇、直腹、平底，三足呈马蹄形，口部制条形槽流，龙形凿柄(今藏市博物馆)。据《辞海》记载，锥斗是古代军中“昼炊饮食，夜击持行”之物。宋高宗来去匆匆，估计这锥斗很可能是宋高宗的遗物。