他又沿江实地考察，了解到从西兴上船过江，航程大，江上风浪大，容易出险。胡雪岩选择了三廊庙附近江道较窄之处，决定在这里投资兴建“义渡”，把船码头“搬过来”，让“上八府”的人改道由鼓楼进城。
码头很快就修起来了，胡雪岩又出资造了几艘大型渡船，不仅可载人，还可以载车和牲畜，而且免费过渡，又快又稳又省钱，上八府的人无不拍手称好。这一来，胡庆余堂在上八府顾客中的知名度提高了。上八府的旅客也改道由鼓楼进城了。胡庆余堂的地理劣势转为优势了，叶种德堂的生意随着“义渡”的开通迅速冷落。真可谓“一石三鸟”之举。
据这条史料，胡雪岩开设义渡是出于与杭城另一家著名药号叶种德堂抢顾客、兜生意的需要。
对钱江义渡的起因虽然说法不一，但大致还是能勾勒出一个轮廓：在太平天国进军浙江前，地方政府就已将官员捐资交给开钱庄的胡雪岩，筹划义渡之事，只因时局动荡，中间停顿，清军平定太平天国后，胡雪岩着手主办此事，并捐有巨款。