马相伯原名建常，后改名良，字相伯，以字行，晚年号华封老人。原籍江苏丹阳县，1840年生于丹徒县（今镇江市）。其家自明末即世代信奉天主教，他生后不久也受了洗礼，教名为若瑟。自幼读书，十一岁时背着家庭到上海天主教会学校依纳爵公学（后改名徐汇公学）学习。以后继续深造，至1870年获得神学博士学位，加入耶稣会，授职神甫。次年到安徽宁国府和江苏徐州府传教。1872年调任徐汇公学校长，兼耶稣会编撰。1876年因与外国传教士发生矛盾，遂退出该会。
1877年，马相伯经其大哥介绍，到山东布政使余紫垣处掌理文案。1881年充驻日本公使黎庶昌参赞，旋改任神户领事。同年因兄病回国，入李鸿章幕府。1892年，又一度出任驻日本长崎领事，驻日公使参赞。
1898年戊戌变法失败，马相伯深为惋惜，到上海从事文教事业。1903年，他捐资创办了中国第一所私立大学震旦学院，并任监院（院长）。1905年该院为耶稣会控制后，他又联合严复、张謇等人募集基金，创办了震旦公学，被推为校长。
在收回江浙铁路利权的斗争中，马相伯也是主要人物之一。在一次会议上，他说：“今非仅铁路问题，乃民权问题，从民权问题上可合二十二省开国会，以争还我民权。”以后江苏铁路协会成立，他当选为总干事。
1906年，马相伯应两江总督周馥之聘，至南京讲演君主、民主政治制度之得失及宪法之真精神，大肆宣扬君主立宪，听众数万人。
同年9月1日，朝廷发布仿行立宪上谕。16日，上海《时报》、《同文沪报》、《中外日报》、《申报》、《南方报》联合召开庆贺会。会上马相伯讲演道：“我中国以四五千年破坏旧船，当此过渡时代，列强之岛石纵横，外交之风波险恶，天昏地暗，民智未开，莫辨东西，不见口岸。何幸一道光明从海而生，立宪上谕从天而降，试问凡我同舟，何等庆幸！”并说：这道上谕所以能够颁发，在于留学生发起于前，诸报馆鼓吹于后。希望报馆今后更要大加宣传预备立宪，实行立宪。立宪的本原，就是全国的国民皆当主人翁。预备立宪，就是预备国民的主人翁资格。实行宪法，就是实行保护主人翁的权利，分别主人翁的义务。最后又驳斥了宪法有碍风俗习惯的说法。
12月9日宪政研究会在上海成立，马相伯当选为总干事。
对于预备立宪，马相伯力主实力奉行。1907年，他在一篇序文中写道：“我国不言立宪则已，言立宪而不虚心预备，言预备而不实力奉行，虽如纶如綍以言之，究与不敢言者相去几何？其或以程度未到归罪于民，民不受也。譬之预备秋操，而不先训练，是谁之过欤？惟训练可以造程度。宪法亦能造国民。……若必程度既到而后立宪，则西史所载大都民不及待而先事要求，要求而不继之以争且乱者，盖不多觏。我而效之，强邻肯坐失渔人之利乎？然则犹幸程度未到，饥者易为食，渴者易为饮，宪法之能造国民，惟此时尤易。”
1907年10月17日，梁启超发起组织的立宪团体政闻社开成立大会于东京，徐佛苏与麦孟华当选为常务员，他们又推荐马相伯为总务员，社员全体一致通过。12月，马相伯在汤睿迎接下抵达日本。15日，政闻社召开欢迎大会。他发表了就职演说，其中讲道：“天下无绝对的良政治，而有绝对的恶政治，何谓绝对的恶政治？则徇最少数人之私欲而反大多数人之所同欲者是已。质而言之，则曰专制”。“生为专制之国民者，必当以排除专制为唯一义务”。他还要求社员对于社外之人要具有博爱精神，说：“吾是吾所是，而不能谓人之尽非，此国家所以能容两政党以上之对立也。故吾侪忠于本党而不嫉视他党，可以为光明正大之辨难，而不可以为阴险卑劣之妨害。其中立之人，吾侪宜尽吾力之所及，使其表同情于吾党之主义。其有未肯遽表同情者，吾侪当谅其锢蔽之太久，启悟之不易，常怀矜悯之心，勿为厌弃之容。”
1908年2月，政闻社本部迁往上海，马相伯与常务员徐佛苏、麦孟华主持社务。3月3日，他召开披露会，向上海各团体代表及社会名流介绍了政闻社的情况和迁到内地的原因。并说：“国民断无有不用力而能得宪政者”，“以政党之力要求立宪，愈为我国根本上之救治法门也。”以后议决在各省设立支部，发展社员，与预备立宪公会、宪政公会等筹组国会期成会。
6月，一些省区掀起了要求确定召开民选议院的请愿活动。马相伯见南京地区没有响应，致函南京学务总会，谓“要求民选议院，各省均已上书，江南为人文荟萃之区，风气早开，不可不赞成此举。”经其提倡，南京地区的请愿运动迅速开展起来。7月12日，国会期成会召开成立大会，并公祝江苏、安徽两省代表入都请愿。马相伯在会上致祝词说：“请开国会，乃我全国人民之生命所关，财产所关，人格所关，岂仅个人之功名富贵而已，此所以必须欢送也。”今天我们请开国会，既无外国人干涉，又无坚船利炮的可怕，其前途必定大获胜利，这是可以断言的。国会是我们中国立宪国民的大头衔，人民生命财产保险的护照。江苏、安徽两省代表为我们国民请开国会，就等于为我们国民领取立宪国民的大头衔及生命财产保险的护照，我们开会欢送，并非是为江苏、安徽两省的代表考虑，实是为自己考虑。
同年8月13日，朝廷下令严行查禁政闻社。政闻社无法维持，马相伯登报宣布解散。
江苏省筹备咨议局时，马相伯当选为苏属筹办处绅界负责人之一，他对于筹备特别重视。1909年1月5日，他在法政讲习所举行的毕业典礼上演说道：我们立于社会之上，应当自为主体，无论何事，不可受别人左右。“现当预备立宪时代，无他，惟令全国人民各得其所而已。一国立法，必适合于一国人民之意而后可”。对于将来的宪法，我们亦只求其适于国民之意而已。但此事尚须等待九年以后，今日为国民小试之地的，就是咨议局。“为大匠者必得大斧，国会、宪法其大斧也，不得大斧者，有一小刀亦慰情聊胜于无，咨议局其小刀也，吾辈勿以其轻而忽之。”继而当选为咨议局议员和江苏咨议局研究会副会长。在咨议局开议的前一天，他在招待议员的会上对大家讲：“时局危迫，议员之担负甚重，社会之希望于议员甚奢，议员非放开眼光，善用其热心热力，不足以达救国救民之目的”。他说的“语语沉痛，闻者为之下泪。”
1910年，马相伯积极支持国会请愿运动。4月11日，上海报界开会欢迎南洋华侨国会请愿代表陆乃翔，他在会上致词，并痛快淋漓地说：“世界有两大权，一兵权，一言论自由权。今海上报界以言论自由权公送代表北上，将使人人有言论自由之权，则可参预政治，翼护国家。”5月22日，在欢送国会请愿代表沈缦云北上的会上，他又讲了国民历次请愿的苦心，非常沉痛地说：“今日各团体之热诚欢送，可见爱戴国家，爱戴朝廷，爱戴帝王，使国家、朝廷、帝王不爱此爱戴之民心，犹不速开国会，恐他日虽欲哭送，而不可得矣。”
11月4日，朝廷发布国会期限缩短三年，不准继续请愿的上谕。马相伯在一次集会上第一个发言道：“国家乃人民集合而成，同属国民分子，本无轻重之分，人人当然为国家谋幸福。今人民呈请速开国会，是人民自谋幸福，亦系为国家谋幸福”。斥责“朝廷不允即开国会，是不使人民谋幸福，亦不欲人民为国家谋幸福”。指出：“我中国国民欲谋幸福，必人人有以自立，不倚赖于人，则不受制于官府；亦必有完全国家，而后能达自谋幸福之目的”。“国家能否完全，全视乎国民，国民能否组织完全国家，视乎国民之心而已。”
1911年6月4日宪友会成立，马相伯被推举为江苏支部发起人之一。中国国民总会在上海成立，他当选为副会长。
马相伯是同盟会会员黄炎培的“战友”，蔡元培的“莫逆交”。1907年曾赞助革命党人创办《神州日报》。10月辛亥革命爆发，他积极为光复各省奔走，担任过江浙联军总司令部外交部长和江苏都督府外交司司长。
1912年3月，马相伯任统一党参事。后曾代理北京大学校长，发起创办辅仁学社，反对定孔教为国教。袁世凯早年在朝鲜时与其相识，对其颇为优礼，任其为总统府高等顾问，政治会议议员，约法会议议员，参政院参政，平政院平政等职。1915年袁世凯大搞帝制自为活动，马相伯竭力反对，力争不听，愤而辞职。正想南下，密探已把他的住宅包围。他终不屈服，化装做一个买菜的老家人，带了一只竹篮，逃出了北京城，隐居在上海徐家汇。1931年“九·一八”事变后，他积极参加救亡工作，发表了许多抗日言论，被尊为爱国老人。1937年曾任国民政府委员。同年10月上海沦陷，李宗仁请其移居桂林风洞山。一年之后，又应学生于右任之请移居昆明，途中忽然患病，留居越南的谅山。1939年11月4日病逝，享年一百岁。著有《马相伯先生文集》等。