成化十二年（1476年）二月，马文升抵京，奉命主管兵部事。七月，被派出整饬蓟门至辽东边备。翌年（1477年）十一月，自兵部右侍郎升为左侍郎。

马文升在辽东，与巡抚陈钺不和。他上疏言及辽东事务，话语中多涉及陈钺，两人遂结怨。而陈钺的后台是权势颇大的太监汪直。成化十四年（1478年），发生陈钺错杀女真贡使、激变辽东之事。汪直打算亲往平定，以立功显名。太监怀恩建议派朝中大臣前往安抚，马文升立即支持，并受委任前往招抚建州女真与海西女真，取得一定成果。临行前，汪直提出派人同往，马文升也没有同意。这一来，又得罪了汪直。汪直后来与刑部尚书林聪等勘边事，说辽东激变，是马文升禁止边方农器贸易所致。马文升申辩无用，被下诏狱，谪戍重庆卫。马文升在戍所滞留四年。汪直失宠后，他才复官。

成化二十年（1484年），马文升再次被起用，以左副都御史巡抚辽东。这是他第三次赴辽东。由于他曾经论及陈钺，因此受到欢迎，士卒“皆鼓掌喧舞”。

成化二十一年（1485年）八月，马文升进官都察院右都御史，总督漕运，兼巡抚凤阳等处。淮、徐、和一带饥荒，马文升移调江南的十万石粮及五万两盐价银予以赈济。同年十一月，入朝任兵部尚书。第二年（1486年）正月，马文升入朝后，曾推辞兵部尚书之命，但宪宗不允。此时，方士出身的通政司左通政李孜省要推荐他人掌兵部，在宪宗面前做了手脚，在同年九月将马文升调为南京兵部尚书。

成化二十三年（1487年）九月，明孝宗即位。十一月，孝宗召回马文升，任命他为都察院左都御史。出于对李孜省之流的厌恶，马文升提出：“巡城御史及兵马司、锦衣卫逐一搜访，但有扶鸾祷圣、驱雷唤雨、捉鬼耳报一切邪术人等，及无名之人，俱限一月内尽逐出京。”

弘治元年（1488年）六月，马文升奉命提督十二团营操练。次年（1489年），改任兵部尚书。针对军政废弛的状况，他采取了一些措施。例如，严格考核将校，有三十多人因贪贿怯懦被罢黜。这损害了一部分人的利益，有人甚至夜持弓箭等候其门，准备行刺，有人还写书诽谤，射入东长安门内，这显然都是有背景的活动。孝宗支持马文升对京营的整顿，特批他金吾骑士十二人，以护出入。马文升还提出，蓟州、宣府、大同三镇已有镇守太监，不应再设分守、守备、监枪等内臣。据他统计，蓟州有内臣九员，宣府有内臣八员，大同有内臣六员，共二十三员，“每员占用军人，少则二三百名，多则四五百名，通计侵占已有数千”。“此等守备之数，委的无益于事，有扰于边”，应当裁革。孝宗也依其议办理。

在出任兵部尚书期间，马文升强调要慎用使用武力，主张通过施压和威慑来解决争端，促使争议双方和解。不过当使用武力成为解决问题最直接、最有效的方式时，他也会根据具体情况，派适量兵力前往征讨，以取得最大的战绩。哈密是回回、畏兀儿等族居住的地区。明初派使者入朝，于其地设羁縻卫所，封其首领为忠顺王、忠义王。宪宗时，土鲁番部强大，据有哈密。明廷曾设法干预，没有结果，似乎也就承认了现状，将哈密卫迁往他处。早在弘治元年（1488年），土鲁番部就诱杀朝廷所封的忠顺王罕慎。弘治六年（1493年），又擒获另一个忠顺王陕巴，其首领阿黑麻（又译阿黑马）自称可汗，以兵掠周围各部。主持兵政的马文升主张兴复哈密。他采纳通事王英和指挥杨翥的建议，利用地处嘉峪关西南的罕东部，地处嘉峪关以西的赤斤、蒙古部等与土鲁番部的矛盾，抚而用之。弘治八年（1495年），调罕东等部兵，夜袭哈密城。马文升所推举的陕西巡抚许进等率明军随后行进。土鲁番守将弃城而去，明军进入哈密。自明初以来，这是官军第一次深入其地。这也是马文升任兵部尚书以来，处置的最重大的边境事务。

弘治初年，马文升和吏部尚书王恕是人望所归，他们不但以人品服众，而且对政事的议论极多。每一疏出，天下传诵。王恕致仕，马文升声望更高。但推选吏部尚书，孝宗没有用他。为此，他颇感不平，所写诗中有“朝罢凭阑一黯然，独将心事诉苍天”句，发了一通牢骚。

弘治十年（1497年）九月，马文升之子马玠“主使殴人至死，罪当绞”，孝宗下诏宽宥，马文升引咎请辞，孝宗不允。同月，他“三年秩满”，被加授为光禄大夫、柱国。

弘治十一年（1498年）二月，马文升被加授少傅兼太子太傅。次年（1499年）十月，因清宁宫工程结束，孝宗又恩赐马文升的子侄一人为锦衣卫百户。同月，马文升上疏自称衰老，一再请求致仕，孝宗不允。

弘治十四年（1501年）十月，马文升被改授为吏部尚书，加衔至少师兼太子太师。在他之前，只有少数几名尚书、都御史得到这一荣誉。

弘治十七年（1504年），面临着将要来临的京察，孝宗召见负责考察的马文升和都御史戴珊等人议事。马文升当时已经七十九岁，行动不便，耳朵又背，孝宗对他讲了两遍，要他秉公黜陟。马文升回答：“陛下图治若此，宗社之福也。”然后被左右扶掖下阶。

对于官员的考察进退，马文升是很认真的。初任吏部尚书，他就对滥封传奉官提出异议。传奉官是不经过正常途径，由皇帝亲自传旨任命的官员。成化时最盛行。孝宗初年统加裁革，但后来也加封赏，一次竟达八百人。马文升说，减一官，朝廷省一官之费。武宗即位之初，他按照孝宗遗旨，裁去传奉官七百六十二人。对于内外官员的考察，他也很严厉，一次汰罢朝觐官员二千余人。

考察不讲情面，定会招致许多反对者，而在用人时也未必全无个人意气。刘大夏是弘治朝另一名臣，就因为与马文升对官僚的评价不同而引起矛盾。河南籍官僚刘宇为首辅刘健所器重，马文升推举他总制宣、大。刘大夏大概知道孝宗对此人的看法不佳，屡屡在朝中数其过失，当然也就牵连到荐举人。侍郎王俨是刘大夏的姻亲，马文升抑制王俨，很难说不是因为刘大夏。

正德元年（1506年），刘大夏所倚重的副手、兵部侍郎熊绣被推举为两广总督。熊绣不愿外出，也怨恨于马文升。他们纠结在一起，又拉出与刘大夏为同乡及同寅的阁臣李东阳，顿时形成一股反对马文升的强大力量。御史何天衢首先发难，弹劾马文升老衰。马文升于是请求致仕，在上奏了二十一道奏疏后，武宗方才允准。

宦官刘瑾专权期间，将一批反对派官僚定为奸党。马文升与其中一些人关系密切。正德四年（1509年），马文升被削秩除名。

正德五年六月八日（1510年7月13日），马文升去世，享年八十五岁。葬于州北大隗山麓。马文升死后两个月，刘瑾被捕入狱。朝廷还未听闻马文升的讣讯，下诏命其“致仕复职”。闻其死讯后，为他辍朝一日，赐祭葬。追赠特进光禄大夫、太傅兼太子太傅，谥号“端肃”。

嘉靖（1522年－1567年）初年，明世宗朱厚熜又加赠马文升为左柱国、太师兼太子太师。

马文升早年在山西、湖广、福建任地方官时，“发奸擿伏”，革除民弊。明宪宗时，参与平定固原盗乱，抵御鞑靼，总制三边，并整饬辽东边备、总督漕运，功勋卓著。

明孝宗时，马文升主持兵部，整顿京营、边务，处置哈密事宜。后任吏部尚书，裁去传奉官七百六十二人，又在官员考察时严加处置。

朱祐樘：“卿宿望老臣。”

冯允中等：“马文升、戴珊历事累朝，清谨素著。”

周宣：“已故尚书马文升、许进、刘大夏、秦纮、都御史钱钺、强珍，皆得罪权奸，横罹祸患。宜特加优恤，使天下知守已冤抑之士，没世既远，尚有昭雪之日。”

杨廷和：“文升历事五朝，垂六十年。出将入相，文武兼资。思虑精深，传通故实。临事应变，无少底滞。奉公忧国，随事纳忠。每公卿会议，相顾不发，文升独据理抗，言语简意足。名著四夷，功在天下。尤慎用兵，未未尝轻有征讨。天性严重，寡言笑。俭节清名，终始如一。直道而行，不阿权贵。虽遭谗离诟，屡起屡仆，迄不少贬。平生好学，手不释卷。”

秦金：“汾阳系天下之安危，伏波幸一身之矍铄。”

王尚綗：“展墓春风一望多，杏山湫水入吟窝。少师功业穹碑在，千载行人仰伏波。”

唐枢：

项笃寿：“敬皇励精综核，寤寐俊髦。禹阳马公实秉衡，鉴故六曹之长，莫非民誉。下至百司，咸济济焉。士敦耻让，俗返淳朴。众贤和朝，万民和野。即周之成、康，汉之文、景，蔑以加矣。”

王世贞：

徐咸：“国朝名臣，久任享耆寿者，魏文靖公骥（魏骥）九十八，王端毅公恕九十三，胡忠安公濙（胡濙）八十九，马端肃公文升、韩忠定公文（韩文）、吴文恪公讷（吴讷）、章文懿公懋（章懋），俱八十六。王文端公直（王直）、王忠肃公翱（王翱）、王忠毅公骥（王骥）、林文安公瀚（林瀚）、刘忠宣公大夏、谢文正公迁（谢迁），俱八十四。兹数公者，名位禄寿兼而有之，岂易得哉？”

屠隆：“薛文清瑄（薛瑄）、李忠文时勉（李时勉）、章文懿懋、王忠肃翱、王端毅恕、项襄毅忠（项忠）、马端肃文升、刘忠宣大夏、胡端敏世宁（胡世宁）岳岳之风、侃侃之节，宏材足以济时艰，正气足以褫奸魄，李梦阳所谓‘居则岳屹，动则雷击，大事斧断，小事海畜。’斯其人矣。”

张燧：

黄道周：“文升马抚，巡按山西。固原土贼，据险吼嘶。官军屡败，项忠督提。马谕无战，城乏水堤。断其樵汲，釜鱼自摧。项忠从信，擒四燃脐。敌寇临巩，遣将削泥。再入好水，战获其辎。女直复叛，陈钺败栖。欲杀贡敌，以掩其非。贡敌哗惧，乱震鼓辇。文升往谕，解散不疑。内臣汪直，借此出师。及至边境，无敌排挤。怀恨马抚，下狱奏题。至于直败，位方复跻。不战而抚，中安外齐。即至大创，必势所宜。所以立朝，高风莫梯。”

张岱：

查继佐：“草谏笔锋，与定边剑术两利，顾乃驰谕已定，不专恃挞伐为能。更谙大略。或以其诗有‘白发无心（阙两字）鞭’之意，意在屠滽先得吏部，稍介介。夫公忠如端肃，乃以私逆之乎？又云初迁吏部，与刑部闵珪并推，南人乐闵，稍迁怒刑属官，一年之间，刑十三司无一转官者，谓端肃似隘。嗟乎，亦私逆之一也。”

谷应泰：

张廷玉：“王恕砥砺风节，马文升练达政体，刘大夏笃棐自将，皆具经国之远猷，蕴畜君之正志。绸缪庶务，数进谠言，迹其居心行己，磊落光明，刚方鲠亮，有古大臣节概。历事累朝，享有眉寿，朝野属望，名重远方。《诗》颂老成，《书》称黄发，三臣者近之矣。恕昧远名之戒，以作传见疏。而文升，大夏被遇孝宗之朝，明良相契，荃宰一心。迨至宦竖乘权，耆旧摈斥，进退之际所系讵不重哉！”

爱新觉罗·永瑢、纪昀等：“案文升砥砺廉隅，练达政体，朝端大议，往往待之而决。与王恕、刘大夏俱负一时重望。”

崔瑞德、牟复礼：“15世纪后期几个最能干的军事领袖像16世纪初期最著名的王守仁（哲学家王阳明）那样，都是科举出身和从其他行政职务转任军事领导的人；突出的例子有：韩雍（1422—1478年）、王越（1426—1499年）、项忠（1421—1502年）和马文升（1426—1510年）。”

富路特、房兆楹等：“他凭借其在政治和军事方面的才能赢得了人们的赞誉。马文升的过人之处在于能灵活地采用最恰当的方法解决问题，他天生严肃寡言，经常在静候群臣朝议多时未果的情况下一言切中时弊，解决问题。”

马文升曾经说：“我在兵部任职时，每夜心都在边境行走一圈；在吏部任职时，每夜心都在国内行走一圈。行边是因为思虑武备，行内是因为计量人才。”

嘉靖初年，农民赵鐩在河南起义，剽掠至钧州，因为马文升家在，便放弃没有进攻。攻破泌阳时，前大学士焦芳已经逃走，赵鐩便毁了他的家，打开他的箱子，取出他的衣冠，把衣冠穿戴绑在草人上宰杀，说：“遗憾不能替天下人杀这个贼子！”明末清初史学家查继佐感叹道：“焦芳以苇缚，马钧州以木主，皆像人，而一俎豆之，一图裂之，情故殊。”

儿子

马璁，曾以乡贡之士身份在吏部待选。

马玠，曾因“主使殴人至死”的罪名险些被处死，后经孝宗下诏宽宥。

马文升“为文不事雕琢，若大羹玄酒，自有喜味。声诗无媟嫚语，皆自忠爱中流出。海内之士，得其篇章者乐诵之”。所撰《抚安东夷记》1卷，详记女真族建州、海西各部头人与辽东都司的商业贸易、纳贡请赏、武装冲突等史事。尤详载永乐至正统间，女真族上层同明王朝的关系。传世有明刻本及《清初史料四种》丛书本等。此书为两江总督萨载奏缴，于乾隆四十五年（1780年）禁毁。

马文升的《南征过桃花源》《抚陕征西过陇关》等，都有边塞诗的特点。

马文升有《马端肃奏议》《西征石城记》《抚安东夷记》《镇克哈密国王记》和《约斋集》等数十卷流传于世。其诗仅在清刻本《马端肃公奏议》之后附录若干首。《皇明经世文编》辑录有《马端肃公奏疏》3卷。

历史学家马以愚、白寿彝在《中国回教史鉴》《回教先正事略》《回族人物志》《中国通史》中，将马文升家族的族籍定为回族，被几位研究少数民族史的学者在其主编的少数民族史、大辞典和传记中采用，但马善田在《河南禹州明代“五朝元老”马文升家族为回族一说商榷》中反对此观，从正史、地方志、家谱等文献记载和其后裔的反映中，证明马文升家族为回族一说证据不足。

马文升陵园位于河南省禹州市，面积120亩。禹州城北关门外，路西约50米处有“马端肃公祠”，又称“马家祠堂”，这座祠堂为窑洞式的明嘉靖年间建筑，祠堂内供奉着马文升塑像，祠堂两侧镶嵌着一些珍贵的碑刻，其中有当年官方为马文升举行悼念活动的记载。

禹州城内另有十座专为马文升而立的牌坊，均为明、清两代建筑，分别为“泮宫坊”（坊额东面题曰∶“德配天地”，西面题曰∶“道冠古今”“古颍川郡坊”）、“嘉惠元元坊”、“冢宰坊”、“太师坊”、“三孤里坊”、“绣衣坊”、“进士坊”、“少保坊”、“左柱国坊”（又称为“五朝元老坊”）。此外，清代重修的禹州“乡贤祠”“忠义祠”中亦祀有马文升。以上牌坊、庙今已不存。

《左柱国太师端肃公传》

《左柱国、太师马公行略》

《吏部尚书马公文升传》

《国琛集·下卷》

《今献备遗·卷三十一》

《名卿绩纪·卷二》

《续藏书·卷十六·太师马端肃公传》

《明史纪事本末·卷四十一·平固原盗》

《明史纪事本末·卷四十二·弘治君臣》

《罪惟录·列传卷十一上·经济诸臣列传上》

《尧山堂外纪·卷九十·国朝》

《明史·卷一百八十二·列传第七十》