登陆安汶岛的第三天，明军从之前占领的4座炮台处拖来1门尚且完好的32磅炮及7门24磅炮----明军主要以前装线膛炮发射榴霰弹压制对手，所以4座炮台中的火炮大部分都是完好的，但这些火炮都十分沉重，明军尽管雇募了不少土著来搬运，一时间也没办法全部都搬运到维多利亚城堡外围----然后在守军肉眼可见处布设起炮兵阵地来。
见到明军源源不断的将火炮运来，原本就承受着极大压力的维多利亚堡守军愈发的疯狂了，只见他们不断用炮火轰击明军布置火炮的区域，籍此阻止明军完成炮兵阵地布设；但可惜的是，维多利亚堡中保有的火炮，其口径最大者也不过18磅炮而已，根本打不到24磅炮和32磅炮的射击阵位，自然也就无力阻止明军完成炮兵阵地的布设及后续开火了。
当日下午申正（16:00）前后，明军开始利用缴获火炮对维多利亚城头进行压制射击。
说实在的，前装滑膛炮的精准度真的非常有限，根本做不到指哪打哪，但偶尔打中维多利亚城头的炮弹还是进一步的重创了守军的士气。
更有甚者，明军的射手还趁着维多利亚城头的炮兵注意力为己方火炮所吸引的机会，悄声无息的再次摸到了几处垒土堆的顶部，然后偷偷摸摸的对维多利亚城头进行狙射，再次杀伤了众多的荷军炮手。
等到荷军发现明军狙击手再次发威后，重新调转炮口打击垒土堆后，这些明军射手又迅速的躲到了垒土堆的下方躲避，再一次，让荷军的炮火做了无用功。
处在光挨打不能还手或还手无效的境地中的维多利亚堡守军异常的焦虑，而更令他们胆战心惊的是，在明军停火散热的炮击间隙，明军劝降的声音又响彻了起来；虽然欧洲裔的士兵迅速鸣枪放炮以遮掩明军方向传来的劝降声，但由于军事上已经出现的明显劣势，守军军心浮动的已经十分厉害了。
所以，为了破坏明军的炮兵阵地及作为狙击和宣传阵地的各座垒土堆，荷军冒险进行了一次夜袭，但在当时欧洲军队看起来可以出人意料的夜袭在中国战争史上是人尽皆知的战争手段，因此一早就做了防备，这就使得荷军出城夜袭的敢死队变成了送死队。
前一天夜袭失败、折损了近百名士兵已经让所有人都知道维多利亚堡是没办法坚守了，结果第二天，明军拖来了更多的火炮----包括从淮戊船上拆卸下来的短管卡隆炮----并在维多利亚堡的其他两面布设起了新的炮兵阵地。
至此，守军心态彻底崩了，而明军还在不断的对城内喊话，于是自觉一众奴兵已经到了爆发边缘的兹沃勒上尉向安汶总督提请道：“阁下，虽然我很不愿意说这句话，但考虑到城内妇女和儿童的生命，我还是建议您向中国人投降！”
总督咆哮道：“来人，把这个叛徒关起来！”
几名士兵便解除了兹沃勒上尉的武装，并把他拖走了，只是兹沃勒上尉被抓的消息散播出去后，维多利亚城堡内的黑人士兵、印度裔士兵及马来士兵明确觉察到了欧裔官兵的沮丧，因此有人在围城明军“高昂”赏格的**下，终于忍不住动起手来。
正所谓“天下人苦荷已久”，一旦有人带头，整个维多利亚城堡的非欧裔兵就都跟着造反起来，围着一众欧裔兵开始大杀特杀起来！
不过，欧裔军人及欧洲移民中的男性一早已经防着非欧裔了，所以，并没有被非欧裔的叛乱给闹了个措手不及；但由于非欧裔的兵力要远远超过欧裔，因此，竭尽全力抵抗后，依旧不能打败非欧裔兵围攻的一众欧裔就只能丢下同伴的尸体及受伤的同伴，在科达中尉的接应下，退回内堡据守。
“包括轻伤员在内，我们现在还有172名可以用来战斗的士兵！”退到内堡后，科达中尉对手上的力量做了统计。“武器这块，我们还有火枪27支、十字弩12把、大戟40把、枪斧45把、十字剑17把、钉锤21把、连枷4具，此外我还有小型圆盾29面、头盔55頂、半身链甲50件···火药和铅子可以敞开来用两个月，弩箭只有338支、得省着点用······”
