但无论他怎么愤恨，无论他怎么主战，《马关条约》已签字生效，他无力回天。他唯一能做的就是尽力阻碍《马关条约》的施行，尽量挽回一些国家主权。
力争主权
《马关条约》签订当天，张之洞就致电他的门生、驻俄公使许景澄(1845—1900年，浙江嘉兴人)，要求他敦请俄国出面阻止日本割占辽东，让他告诉俄方：日本占据辽东，控制了东方海面，其实对俄国不利。
不几天，许景澄回电：俄方已联系法国和德国劝日本减让，意在争回辽东。接到许景澄的回电后，张之洞又立即电告正在出使法国的钦差大臣王之春：“你去找法国外交部密商，如果法国能出兵助我威胁日本废除条约，我一定以厚利相报。”不久，王之春回电：法国、俄国正联合德国合力施压日本，相信会有好的结果。
张之洞大喜过望，他一边将情况上奏总理衙门，一边同许景澄和王之春保持密切联系。后来，他的努力终于起到了作用。迫于俄国、法国、德国的施压，日本终于同意放弃占据辽东半岛，但清政府须另赔三千万两银。
虽然损失了一大笔银子，但这比割让辽东半岛要好得多，张之洞功不可没！
《马关条约》规定苏州、沙市、重庆等城市为日本通商口岸，须在半年内开放。但张之洞不想让他治下的苏州成为日本的租界，于是令江苏及苏州官员先行占领繁华商业区，当日本代表前来征地时，张之洞只同意日本把租界开在距苏州城六里之外的荒芜之地。
日本代表气坏了，然后大加威胁，张之洞不为所惧，他淡定地说：“不能让就是不能让，谁怕谁啊，大不了再干一仗！”最终，在他的强硬坚持下，日本只好同意在苏州城六里外的地方开设租界。此举也让意图强占其他繁华商业区的西方列强望而却步。
《马关条约》还规定日本可以在通商口岸从事生产制造，这是以往所有不平等条约从未出现过的条款，这将严重损害中国商品经济的发展和流通。为了限制日本在中国的生产经商活动，张之洞拟定了十九条补救办法，奏请朝廷贯彻执行，并号召官绅商民合力抵制日货。
为了更有力地抵制日货，他还借洋款支持两江商民购机办厂，并把湖北定购的纺织机器低价转让给张謇在江苏南通开办大生纱厂。几经发展，大生纱厂成为中国近代最大的纺织企业。
抗割台湾
在争取主权方面，张之洞干的最给力的事情就是死保台湾。因为台湾自古以来是中国领土不可分割的一部分，绝不能让祖国的宝岛陷入日本之手。
早在中国对日宣战前，张之洞就电告台湾巡抚邵友濂和布政使唐景崧加强战备，以防不测，邵、唐二人深以为然。
不久，邵友濂调任湖南巡抚，唐景崧升任台湾巡抚。在中法战争中，唐景崧受张之洞的指派进入越南招安刘永福，他和刘永福建立了密切的关系，中法战争后，唐景崧授台湾道，随后升任布政使。
这次日本大兵压境，唐景崧深感台湾兵力不足，于是奏请朝廷调令广东南澳镇总兵刘永福率领黑旗军进驻台湾。刘永福进驻台湾后，却同唐景崧产生了种种隔阂，两个人的关系越闹越僵。最后，唐景崧竟然处处排挤刘永福。
张之洞闻讯心急如焚，他深知将帅不和乃兵家大忌，于是发挥老领导的作用，极力调和两人和衷共济。在他的多番努力下，唐、刘二人终于和好如初，齐心抗日。
光绪二十年（1894年）十月，清政府请求英、美出面调停中日战争时，日本就提出过占据台湾的条件，张之洞得知后立即电奏朝廷“台湾万不可弃”，朝廷却置之不理。后来，他径直询问李鸿章，李鸿章竟推说不知情。
张之洞预感到了一丝不祥，他反复致电唐景崧加强防守，防止日军偷袭。果然，第二年二月，日军就进攻澎湖列岛。张之洞闻讯，立即调拨1600余支枪、100万发子弹及若干军饷运抵台湾。遗憾的是，澎湖列岛还是被日军攻陷。
中日谈判前夕，张之洞又得到了一个消息：日本决意占据台湾，清政府已然同意。
