海战和陆战都以荷兰人的失败告终，普罗文察堡也投降了，1661年对于荷兰人来说真是糟糕的一年。
普罗文察堡投降了，现在就剩下热兰遮城了，热兰遮城最早是在天启四年八月由荷兰在台的第一任长官宋克建造的，但是据荷兰人自己说的，最早的热兰遮城堡的防御水平实际上相当差“没有护城壕，也没有栅栏或其他外堡”，这座城堡的防御对象实际上只是岛上反抗的农民以及其他的土著，这些人手中的武器非常差，所以对于荷兰人来说，这样一个简易的城堡已经够用了。但随着局势的变化，以及明荷关系的紧张，荷兰人在1639年左右重新加固了热兰遮城堡，同时又建起了一座乌特力支圆堡。
揆一记载说热兰遮城堡是“公司选定福摩萨西岸一块宽约一平方里的荒芜小沙洲作为根据地”位置在今天的台南市安平古堡，在400多年前，这里实际上是四面环水。整座城堡分为上城和下城两个部分，上城为四方形，四个角落都有棱堡，下城是1639年以后逐步建造起来的，共有三个棱堡，每个棱堡有12门加农炮，城堡的南方是拔鬼仔上尉丧命的北线尾沙洲，热兰遮镇则紧靠城堡。相比于之前郑军攻打的清方城池而言，热兰遮城确实非常小，但是这座欧式城堡却给郑军造成了不小的麻烦。
郑军发动的这次不幸的进攻开始于5月25日的凌晨。郑军的火炮于天亮前两小时猛轰热兰遮城堡，击中了荷兰长官署，在荷兰人反击之前，郑军总共开了大约40炮，后来战后统计，击中荷兰长官署房屋的郑军炮弹多达53发，有一些18磅的炮弹，还有一些是24磅的炮弹，这些火炮给热兰遮城堡造成了不小的损害，被炮弹轰开的口子达到250多个，但是这些伤害并没有破坏整个城堡的结构，因为城墙包砖后面是夯实的土台。荷兰一方的人员损失较轻微，总共只有4人被击毙，另有11人受伤。
而郑军一方损失更为惨重，荷方记载根据捕获的郑军俘虏交代，郑军在此战中被打死了三百多人，后来甚至有消息传出，此战郑军伤亡高达六七百人，而这一消息恐怕有误，或者说是荷兰人对自己战绩的吹嘘，因为攻台郑军诸镇战兵的人数大就在几百人左右，如果按照荷兰人的说法，至少有一个镇已经失去战斗力了，但是并没有。
但是可以肯定的是，这一仗确实打得很烂。在郑军的火炮阵地溃败之后，荷军有大约50人出城，包括十名火枪手以及士兵四十名，这些人的目的是夺取郑军的火炮以及郑军修筑的篮堡上的旗帜，这些人出城之后发现郑军的火炮阵地一片狼藉，火炮七扭八歪，有些大炮炮口冲着天，通条还扔在里面，炮弹扔了一地，还有大量的郑军死尸。
这些荷兰人开始用钉子封住大炮的火门，并且夺取旗帜，扒走死尸的盔甲，但是遭到了未撤走的郑军的袭击，郑军箭如雨下，但这支出城的荷军最终成功回到了城中，仅仅付出了战死一人，受伤数人的代价，夺取旗帜63面。
不久，又有116名荷军冲出热兰遮城继续毁坏郑军遗留的大炮，同时开始毁坏郑军夯筑的炮垒，但再次遭到了郑军的阻击“一队携有弓箭、刀剑和旗帜的敌军，从屋内冲到街道的边角上”但是这队郑军随即遭到了热兰遮城炮火的压制，被轰得七零八落“四脚朝天地飞散开来”，带队的郑军军官也被打死在炮垒旁边，最终到天黑，荷兰人几乎破坏了所有还能用的大炮，大约有二十六门左右，同时将一门六磅炮拖回城内，还把大量的郑军盔甲旗帜弓箭作为战利品带回城堡之内，这次出击，荷军战死七人，受伤三十一人。
此战，荷军总共战死十二人，受伤四十余人，总共损失五十余人，郑军损失不明，但人员的伤亡肯定要远远高于荷军，被钉入钉子的大炮不久又被郑军抢了回去，修好之后再次投入使用。
应该说这次失败并不是值得奇怪的，揆一指出郑军此时布置的炮兵阵地非常脆弱，荷军居高临下发炮轰击，同时棱堡的独特结构又能形成交叉火力，全方位地轰击城外的敌军。所以如果郑成功军队大举强攻的话，虽然热兰遮城堡内的战斗人员不过千人，但还是能让郑军付出相当沉重的代价的。
咱们每个人做事之前，都得知道自己究竟想干什么，郑成功也是如此，他为什么来攻打台湾？就像前文所说的，他是为了一个更为稳固的后方基地，能够向他提供源源不断的粮草，所以从这个角度上来说，热兰遮城的荷兰人其实并不重要，虽然他们时不时发炮轰击热兰遮镇上冒头的郑军。整个台湾才是的重点，只要荷兰人的老窝巴达维亚不派援军来，或者说是派一支数量足够威胁郑军的援军，那就万事大吉，热兰遮城里的荷兰守军根本没办法威胁郑军，实际上郑成功自己的援军反倒在五月初到达，“五月初二，左冲、前冲、智武、英兵、游兵、殿兵等镇到台湾。”
这下荷兰人更没戏唱了，郑成功在热兰遮镇留下马信等部监视热兰遮城，总兵力大约2000人左右，自己带着300多近卫回到赤嵌城（普罗文察堡）剩下各部都分散到台湾各地开垦荒地，筹集粮食，但是很明显干这些活不比打仗更安全。
七月“援剿后镇、后冲镇官兵激变大肚土番叛，冲杀左先锋镇营，杨祖与战被伤，败回至省，病死之，围援剿后镇张志营，右虎卫、英兵镇、智武镇败回 ”这一仗打的真是窝囊，郑军居然在正面冲突之中被土著人打得溃不成军，杨祖在冲锋之中被土著的标枪射中，不久就伤重而死，之后郑成功调集重兵才将作乱的土人首领阿德狗击杀，自此之后，他严令各部明军不许搅扰土人部落。
为什么郑军会和土人发生过冲突？这原因不难猜，无外乎就是因为补给问题。咱们之前再说郑成功在福建沿海的一系列作战中必须要做的一件的事那就是征粮，没有粮食，一切免谈。郑成功在广东地区进行了一系列的抢掠甚至于屠戮敌对寨民，这些恶行的根源实际上都可以归结为后勤问题，因为征粮，激起抵抗，然后郑军攻破寨子进行屠戮和抢掠。在台湾更是如此，17世纪其被开发的程度那可想而知，根本不可能为郑军提供大量的粮草，所以饥饿的郑军士兵四处武力征粮，自然就引起了阿德狗等土人的不满。
饥饿，同时还有疾病，不断袭击着郑军士兵们。郑军开始出现大量的非战斗减员，派往台湾南部的1000名士兵，因为饥饿和疾病最后居然有800人丧生，只有200名奄奄一息的士兵逃回，而赤嵌城（东都明京）的情况也不乐观《先王实录》的作者杨英甚至都因为饥饿而得病。
对于郑成功来说，后勤问题是一个必须要解决的问题，但是现在他必须先解决眼前的问题，那就是如何对付荷兰人的援军，1661年八月，12艘荷兰战船出现在热兰遮城外的海面上。