鉴真大师住在阿育王寺，四处的僧众都慕名来请他去讲侓授戒。僧人们得知这般德高望重的大师父想去日本传法，都很舍不得，纷纷劝阻，说日本那种蛮荒之地，大师的妙法岂非对牛弹琴，而且一去就很难回来，中国僧人的福缘大受损失。然而鉴真大师不为所动，并非常耐心地向人们解释东渡传法的意义。
眼看劝阻不住，当地的佛徒就向官府控告日本和尚荣睿诱骗鉴真偷渡日本。荣睿马上被抓起来，押送京师问罪。但他经过一番周折，又偷偷逃回阿育王寺。
鉴真大师不禁感慨道：“牢狱之灾，风涛之险，颠沛流离之苦，也不能让荣睿、普照灰心。只为传法。便能如此坚忍，日本真是与佛有缘哪。这让老衲如何改弦更张呢？”
因此没过多久他们又准备第四次下海东渡。鉴真大师先让法进带几个人去福州（今福建福州市）准备，自己带着三十多人假称向天台山国清寺供奉，从明州出发，准备到达天台后，再秘密到福州出海。一路上翻山越岭，因为赶路心切，竟也顾不得欣赏沿途旖旎的风景了，鉴真大师精神抖擞地走在前面，后生们更感到信心百倍。
可是，当他们走到黄岩（今浙江黄岩市）的禅林寺，一群官差飞马追上来，把鉴真大师等人扣留起来。
大家都有点摸不着头脑，官府怎么会知道我们的目的呢？当初出发时，明州太守还欢送他们，送了许多粮食呢。
原来，这是由留在扬州的鉴真的高足灵祐法师惹起来的。他原本就不愿意让师父飘洋过海。如今眼看鉴真大师几次东渡都失败了，而且为这件几乎不可能成功的事业呕心沥血，身体一年差似一年。他不忍心师父把命搭在这种狂热的幻想上，便联合当地各个寺院的执事僧人向官府请愿，把鉴真大师追回来。
再说鉴真大师一行人被严密看管着送回扬州，渡海队伍基本上被强行解散了。各州僧俗，听说鉴真大师回来，个个欢天喜地，每天来问候的，送供养的几乎把门槛都踏破了。但鉴真大师心里却郁闷到了极点，特别是对阻拦自己计划的灵祐法师，更加生气，根本不肯和他见面。灵祐法师为了取得师父的谅解，每天从月亮升起时，就站在鉴真大师门前请罪，一直站到月亮沉落，整整站了六十个夜晚，还没有让鉴真大师动心。
这次东渡失败，受打击最大的除了鉴真大师，当然就是荣睿了。计划一再受挫，传法的前景更加渺茫。但他仍不肯死心，只要鉴真大师的决心没变，东渡还是有希望的。他们想方设法会见了鉴真大师，结果鉴真大师笑着说：“海水把我心里存的杂念都淘空了，除了东渡日本的决心！”
荣睿和普照大喜。为了使官府对鉴真大师的监视松懈，他们怀着一种又惆怅又兴奋的心情，挥泪辞别了鉴真大量和祥彦法师、思托法师等人，在扬子江边的同安郡（今安徽安庆市）一下子就住了三年。
天宝七年春天，他们又来到繁花似锦的扬州，和鉴真大师商量第五次东渡的大事。
六月二十七日，东渡日本的队伍又出发了。
由于逆风，船在海岸附近停留了近三个月，大家都急坏了，老天爷怎么对传法如此磨难！直到十月十六日，鉴真大师对大家说：“昨天夜里，我梦见三个官人模样打扮的人，一个穿红，两个穿绿，站在岸上向咱们作揖告别，这定是国神。想来这次渡海该成功啦！”
过了一会，果然刮起了顺风。船上的中国僧众齐齐跪下来，面朝西方，泪水纵横，因为不知道什么时候才能回到故乡了。
船离岸越来越远了。傍晚时分，突然刮起大风，大海顿时开了锅一般，白沫乱滚，风声夹着涛声，仿佛水底有千百个水怪在咆哮，海水黑得如同墨汁。船一会儿被抛上浪尖，一会儿被摔入浪谷。船上的人慌得昏头转向，僧人们断断续续念起《观音经》来。
鉴真大师道：“大家不必惊慌，菩萨一定会帮助咱们渡过险境！”
第二天，风浪平静了许多，船又继续航行。
第三天，船飘到了蛇海。几尺长的海蛇，或青色，或红色，在船四周闪电般地游动，十分骇人。过了蛇海，又进了飞鱼海。成尺长的鱼时不时成群跃出海面，在天空中闪烁着银光，让僧人们眼花缭乱。不久又到了飞鸟海，一群群巨鸟在海面上飞翔，鸟群倒不怕人，时时落到船上歇脚，差点没把船压沉。
隔了两天，风又大起来了。全船的僧人个个吐得翻江倒海，昏昏沉沉， 躺在舱板上。只有普照还能走动，每天给大家发些生米充饥。但船上的淡水早用光了，海水苦涩，根本不能下肚。大家嚼着生米，痛苦不堪，因为咽喉干涸，米既咽不下，也吐不出来。鉴真大师也躺在舱板上，鼓励道：“好事多磨，大家要坚持呐。”然后努力地咽着生米粒。
荣睿已经发烧好几天了，这日他突然开口说话，满面喜悦。
“我梦见有二个做官的请我给他们授戒。我说我快渴死了，想喝点水。那官人即刻就叫人取水给我，水色跟牛乳一般，喝了浑身清凉。我就说，我那船上还有三十多人许久没沾过水啦，施主及早拿些水来。那官人便吩咐了两个银发飘飘的老人送水过船来。大伙赶快准备接水吧。”
荣睿指着西南方向，大声说：“瞧，那不是飞来一只白鹤，啊，是一片雨云哪，大家快接水啊！”
可天空中一丝云彩都没有，大伙苦笑着，原来荣睿已经渴得出现了幻觉。
还好，第二天，船靠上一个海岛，船上的人都拥到岛上找水，结果发现了一个水潭，众人敞开肚皮喝了个饱，又把所有能盛水的东西盛满水带回船上。
这时，已经是冬天了，可这岛上却一片葱笼，满树花果，气候宛如夏天。原来，鉴真大师他们辛苦了半年，并未去到日本，而是飘到了海南岛，离日本更加遥远了。
虽然当地的太守是个佛徒，极力挽留鉴真大师，但鉴真大师仍不放弃东渡的念头，太守只好派人护送他回大陆。
天宝十年，经过长途跋涉，鉴真大师又回到了扬州。经过几番周折，又回到故地，鉴真大师不禁感慨万分，坚毅的日本僧人荣睿在路上病逝了。最钟爱的弟子祥彦法师同样没经得住长期的劳顿，也去世了。因为南方的暑热，自己的双目也失明了。可是，日本还是那么地遥远哪。
鉴真大师在扬州，继续在各个寺院里讲律授戒，好象没有经过长期的流浪生活一样。
在僧俗的欢呼声中，鉴真大师总是恍恍忽忽，要是在日本就好了，他仿佛漫步在一树树的樱花下，闻到那清新的香气，荣睿跟他介绍过的。那样明亮的世界，用眼睛倒未必看得见啊。
天宝十三年，六十六岁的鉴真大师搭乘日本遣唐使团的船，终于踏上了他萦绕于怀的土地。受到日本朝野的盛大欢迎。他被圣武天皇委任为大僧纲，掌握传律的大权，成为日本律宗的开山祖师。(来源：历代高僧)
