吴锦堂于1855年11月14日出生于宁波慈溪北乡海滨小村东山头。据吴氏族人介绍，元末明初，战乱频繁，长江中游一带居民纷纷南迁，东山头吴氏明初从江西迁来杭州湾南岸，开垦新涨涂地为生，生活十分艰苦。
经过十几代人的辛勤开垦，到吴锦堂祖父那一代，家境有所好转，试图通过对子女的教育，摆脱世代务农的现实。不料，到父亲吴麟初时，连年遭遇天灾人祸，家道中落。作为长子的吴锦堂不得不辍学务农，帮父亲处理家事，成了主要帮手。但他并没有放下学业，农闲时便跟着叔叔学习。
后来，吴锦堂到宁波一家豆腐店做了磨豆腐的小工。在当年，“打铁、撑船、磨豆腐”是有名的苦营生，地位十分卑下。但对于年轻的吴锦堂来说，两年的起早摸黑、肩挑手推，艰难人生的磨炼，为日后在上海滩打拼乃至闯东瀛，奠定了思想、心理和体能上的准备。
豆腐作坊的一位邻居见吴锦堂能吃苦，又有文化，志气也高，介绍他到上海红庙前的萃丰油烛店当帮佣。吴锦堂兴冲冲地从宁波回到老家东山头与家人告别。1882年，27岁的吴锦堂，就这样带着父辈的期望，来到他一直向往的上海，1年后成了正式店员。
吴锦堂在油烛店3年，习算学文，揣摩商贾经营之道，因勤奋精明，深得店主的赏识，曾被派到苏州等地代庖业务。油烛虽是小商品，但购买者各色人等都有，吴锦堂借此认识了不少人，对他了解社会各界、积累经验都很有帮助。特别是他在苏州分店的经历，更使他有独当一面开展商务活动的才能，显露出从事贸易活动的惊人才能。
1885年，即中法战争的第二年，吴锦堂对我国工商业在列强欺凌下造成的不景气深有感触，意识到努力向外求发展是改变目前状况的一条重要途径。于是，在友人资助下携资白银千两，毅然东渡日本长崎。
到达长崎后，吴锦堂经缜密计划，与人合伙从事物资运销，业务活动就是代出口商在阪神（大阪和神户）地区采购物资并运送至长崎，又代进口商将进口货物运送至阪神地区交给坐商。这种运销方式投入少，资金流转快，吴锦堂在短短的一年间，将资金增长了5倍。就这样，吴锦堂靠着“单帮”式的经营，积累了资本，还通过购销环节建立了业务网络，为日后事业的辉煌打下了基础。
1887年，吴锦堂与人合伙在大阪设立“义生荣”商号，他终于有了自己的第一家商行。这以后，他的业务范围不断扩大延伸：由收购向制造业延伸，如“义生荣号”曾涉足火柴生意；由为出口商购运向自营出口延伸，如将火柴、阳伞运销中国；由代进口商运销，转向自己设行销售。
在经营中，吴锦堂那谨慎灵活、恪守信用和极富开拓性、前瞻性的经营作风，引起商界同仁的称赞：“他的先见之明、小心谨慎的态度以及随机应变的经商才能正是他的独到之处。”一位商界巨人的雏形初步展现。
1889年，吴锦堂在濑户内海边的著名商港神户设立了“怡生号”，开始定居神户。当时的神户，是日本关西地区的经济中心和重要港口。经过十多年的奋力开拓，“怡生号”业务不断扩大，涉足广泛的实业领域，成了阪神地区著名的产业资本家，是当时关西财阀中唯一的华人。日本作家黑部亨曾撰文，把吴锦堂和神户纺织业奠基人武藤山治并称为“为神户照亮前途的人”。同时，他也成了神户华侨的领军人物。1894年，吴锦堂被任命为“神户旅驻大清商人公举商董”，是神户中华会馆、神户三江公所的总代。
吴锦堂热心公益事业，关爱旅日侨胞。他是一位深谙经营之道的企业家，也继承和发扬了商人相互提携、协作共荣的传统，在创建和发展华商组织、资助华侨公益事业、维护华侨权益方面做出了突出贡献。万国医院、孤儿养育院、盲哑院、红十字会、同仁会、掖济会等，都曾得到过他的巨额捐赠。
当时，国内军阀混战，政治腐败，民不聊生，吴锦堂常常为之辗转反侧，只要力所能及，经常组织赈济活动。一开始捐给政府，后来他自己组织赈济机构，设法购米施赈或组织以工代赈，赈济范围北至东北，南至福建广东，救助了无数的灾民，人们誉其为“万家生佛”。
吴锦堂目睹了日本的崛起，深知教育对一个国家、一个民族振兴的重要性。他逐渐确立了教育救国的理念，并始终贯彻到他的办学实践中。在日本，他积极支持华侨的教育事业；在国内，他捐款3000银元给宁波教育会及宁波旅沪同乡会用于办学，还资助创办效实中学。
吴锦堂对如何改变家乡面貌，造福桑梓有全面的规划。他将资金逐步转向国内，开始捐资发展家乡水利事业。1905年动工修建的慈溪杜白两湖水利工程，规模巨大，全工程“竭五六年心血，费七万余金钱”才得以完成。
他认为“日本富强，全靠教育”，他把发展教育看成是国家富强的最好途径。他一生花在教育上的投资高达20余万银元，远远超过他在水利上的投资。黄炎培曾把吴锦堂与陈嘉庚、聂云台并称“办学三贤”。
吴锦堂在家乡兴办的锦堂学堂，当时被称为“浙江私立学校之冠”。这所学校1909年农历元月正式开学，在这年的5月16日，学校举行了成立大会，吴锦堂亲临大会讲话。学校开设的科目齐全，体现了德智体美并重的理念，传统文化与现代科学并重的教育思想。吴锦堂多次申明，他捐赠给学校的一切动产、不动产永远归学校所有，吴氏子孙后代均不得借故干预。