嘉永七年（西洋历1854年）幕府与米人的谈判经历了多个阶段：
首先是幕府派小船和米人交涉谈判地点定在哪，这花费了整整十三天——和历嘉永七年正月十六日(1854年2月13日)到正月二十八日（2月25日）。
接着是横滨村接待场所的搭建和交涉的人数等细节，从2月26日到3月7日用了整整十天。
从2月13日到3月7日都可以看成是准备时期，之后才是正式交涉阶段。
双方在3月8日正式见面，结果第一次见面就谈崩了——林大学头等人表示“因大君交替，请搁置待翌年再议”，结果导致佩里现场发飙，在发布战争威胁后拂袖而去，第一回合的交涉就此中止。
3月12日，林大学头等人从幕府拿到许可返回横滨村，于第二天和佩里开启了第二轮谈判。
当天双方不但交换了参考文本——米方提供了《望厦约定》，幕府方提供了江川英龙和小栗忠顺合著的《西洋诸国约定概要》,而且佩里还让人拿出来大量的精美礼物，一时之间气氛竟有些其乐融融。
翌日幕府方面也进行了回礼，包括扶桑的字画、瓷器、漆器、扇子、武士刀及精美的滑膛枪等，另外还送了米二百俵、鸡二百只，由五个力士（相扑手）进行搬运——希望借此显示扶桑的勇猛。
佩里等人对此也笑纳了，但对力士的肥壮有力却不以为然——自从蒸汽机普及以来，在西洋诸国机器和机械远远胜过人力已经是定论了，人再强壮有何用！
第二回交涉的进度很快，互相救济漂流民的部分很快达成一致，但双方在通商上立场相左：
幕府方面坚持不同意开港通商，理由和当时的中华一样，“我扶桑地大物博，无需通商交换有无”。
佩里苦劝，“我协众国产黄金、白银、铅汞、珠玑及天然珍异之产，人工奇巧之物。扶桑亦富物产，相贸易必有大利，试行之或五年，或十年，即不利则罢~市”，但林大学头一方把头摇的跟拨愣鼓似的，“我不听我不听。”
为啥幕府对开国通商如此抗拒呢?
非我族类，其心必异——因为不了解，扶桑上下本能地对西洋人抱有敌意，你大老远地跑来，带着战船来要求通商，说有好处便宜我，骗鬼呢，无事献殷勤，非奸即盗！
另外，幕府在与南蛮诸国的交往上是吃过大亏的：
切齿之痛就是切支丹传教——宽永十四年（1637年），“岛原之乱”（“天草起义”）爆发，起义的农民以教民为核心反抗领主的苛政和暴行，据城防守，连续打退了幕府联军的第一次、第二次、第三次攻击，还当场打死了幕府派遣的讨伐使板仓重昌，后来幕府动用了超过十二万人的诸侯联军，围城近两个月才使起义军弹尽粮绝，然后攻城成功。
此次事件给幕府、诸大名及当时扶桑社会极大震撼，岛原松仓家被没收领地，家主松仓胜家被判决斩首，成为江户时代大名被斩首的唯一一人（刨腹不算被斩首），天草寺泽家被没收领地，家主寺泽坚高因为精神失常自杀，寺泽家从此断绝。
至此引发岛原之乱的两家大名都遭到了覆灭的厄运。
因为此事，幕府更加深了对外来文化的恐惧，于是在宽永十六年（163
9年）发布第五次也是最后一次锁国令：全面禁止外国船只来扶桑，命令各诸侯检查航行船只，提高三倍密告外船走私入境的奖金，并禁绝西洋教会对扶桑切支丹教民的一切联系与影响——在这次交涉中，佩里没有提出传教的问题，林大学头等人也乐得不管。
可万一通商，这双方人员混杂，那切支丹不又死灰复燃了么？——当年幕府三令五申不许南蛮人传教，可借着通商的机会，除了兰国人谨守本份，其他蛮夷还不是偷偷地在传。
另外，幕府在单纯的通商贸易也是吃过大亏的，总结起来就是“富了大名、豪商，亏了天下和幕府”——德川齐昭一系坚决反对通商，也不是光靠喊，人家手里有证据啊。
德川幕府也不是一开始就锁国的，当时扶桑经历了一百多年的战乱——战国时代（1467年—1603），尤其是在与中华、高丽的文禄?庆长之役（1592年—1598年）中大败亏输，导致经济十分疲敝，而且当年南蛮人的势力很大，又勾结了九州岛及沿海的大名，这开国生意既是幕府主动的，但也是迫不得已而为之。
庆长八年（1603年）家康就任征夷大将军，德川幕府正式成立，当时对外生意做的红红火火——南蛮诸国、唐人、高丽都争相前来贸易，扶桑也有大量商船出海。
可做着做着幕府就发现不对劲了，除了切支丹传教动摇国本外，扶桑的经济也受到了重创——除了必须的生铁、药材、染料、铅汞、蔗糖等外，生丝、丝绸及各种奢侈品如皮毛和西洋玩意也大量涌入，导致扶桑一直是入超。
入超怎么办？还能怎么办，只能用重金属弥补，于是造成金银铜大量流失。
根据幕府自己的统计，光金银每年就损失价值四十余万两黄金（小判金）！
而铜的损失更大，因为扶桑的铜贱，当时的商人甚至大量运走铜钱。
金、银、铜等贵重金属大量外流，以及农作物的种植减少——都种经济作物去了，导致扶桑各种货物尤其是粮食的价格暴涨，引发了大量民间骚乱。
而且更坑爹的是，九州岛及部分沿海大名的势力迅速膨胀，获利的豪商也因为要远航所以也组建了大量的私人护卫，这都对幕府统治的稳固构成了严重威胁。
同时，扶桑的经济也恢复的很快，各种必须品也不再需要大量输入了。
在多方考虑之下，幕府决定逐渐锁国。
幕府保存了相关锁国考虑的文档，因此虽然锁国了二百余年，但还是有部分幕府重臣是了解对外通商弊端的。
例如水户老藩主德川齐昭就是根据幕府留下的佚失资料认为与外国通商有五害：
“自他国进口之物乃无用之物，自日本出口之物乃有用之物。以有用之物易无用之物,乃第一害；
增加出口物品会引起扶桑物资匮乏,乃第二害；
物资不足便会引起物价沸腾,乃第三害；
获利者仅为少数豪商，受损者为广大町民和百姓,此乃第四害；
入不敷出，财政日削月割，乃第五害。
当然，扶桑早期的通商导致大量入超和管理手段落后也有很大的关系，但此时幕府也没啥长进，对此没有任何心得体会，所以上下人等都一贯
把与外国通商视为洪水猛兽。
因此任凭米人佩里如何劝说，林大学头等人对通商是毫无兴趣。
看到对方态度十分坚决，米方转而将精力集中在避难港和补给港商来——当时相互救济漂流民的部分已经谈妥了。
以前曾经有过米漂流民受“虐待”的先例：
嘉永元年（1848年）和嘉永二年，米捕鲸船罗伦斯号和拉格达号先后在扶桑海域失事，其实当时扶桑就开始救济南蛮漂流民了——虽然没有正式约定，但幕府唯恐给南蛮人造成入侵借口，因此幕府将这些南蛮水夫送到长崎的兰国商馆，让兰人将其送走。
可当时的兰国商馆也不愿意帮忙，只表示可以通知米方，于是这些失事的船员被幕府看押在长崎，直到后来才被米船接走。
等这些船员回到米国后，都表示受到了扶桑的严重虐待——幕府的牢房条件是出了名的不好，而且当时扶桑茹素，米人船员估计连一次肉都没吃上，语言又不通，反正这些水手是没少遭罪。对此米人舆论大哗，认为扶桑过于轻视米国。
1844年米人与唐人让人签订了《望厦约定》，连东方大国中华都对协众国客客气气地，你扶桑弹丸之地凭啥这么横？
所以佩里就拿出了这个例子，表示“我方的漂流民让你们看护我方不放心，所以要建定居点”。
而且他还认为，既然定居点都有了，那补给港也得设立。
当时扶桑众人就惊呆了！刚才我们说什么了，这补给港是从哪个云彩里冒出来的？
但佩里侃侃而谈讲出一番话来，真别说，这道理还挺通畅的：
之前林大学头等人已经同意了“互相救济的漂流民，可以保留正当财物和自卫武器，不得拘禁”。——这没啥可讨论的，看上去也没啥漏洞。
但幕臣们高兴的太早了，佩里就从这不起眼的一条约定出发开始步步紧逼：
首先，“既然可以自由活动总得有个正式地方住吧”，所以得有定居点。
对此扶桑这边表示赞同——他们怕“如果米人随便活动，那难免会接触一些心怀叵测之徒”。
其后，“人既然有了住处,那船也要有个安置之所吧”，所以必然要有避难港。
“啥船？”
“漂流民从哪来的？”，佩里微微一笑。
“肯定是遇难船只啊。”
“那遇难船只如果没沉没呢？”米人提示。
听到这里，在场的幕府交涉人员脑袋里都是“嗡”的一声！上当了，前面同意“漂流民可以保留正当财产”，船不就是财产么？！
但船一旦入了港口，那所在港口叫什么？避难港啊！
林大学头等人这才晓得洋人的厉害——佩里心说，要不是看你们不好骗，一张牛皮大的地方听过没？还用绕这么大的圈子。
佩里看对方都瞠目结舌，他觉得时机到了继续加猛料：
“这避难港和补给港区分得开么，没有补给船只不就落难了么？所以啊，同意救济漂流民就是同意开设避难港和补给港！我们以为你们早就知道了呢。”
说完，在场的六个米人哈哈大笑。