从晚清到民国，徽商作为封建年代的旧商帮，逐渐被时代的洪流吞没。
道光年间的盐政改革，打破了徽商在江淮地区的盐业垄断。随后，洋人和太平军、捻军等相继点燃战火，长江下游和北京、天津等最为丰饶的地区，遭受的战乱洗劫最为惨烈。没有安定的市场环境，各种商业活动，特别是实体商品的流通和买卖，陷入举步维艰之境。
太平天国期间，不仅“义军”和官军在江浙地区四处抢劫，而且朝廷对商户的税收，也逐年递增。同治年间的茶税，较之咸丰初年翻了好几倍。与此同时，长江沿岸地区乃至京师重地，几乎都民不聊生，导致茶价锐减。此外，洋商为了独霸市场，不惜低价倾销。不仅仅是茶业，包括丝织业、药业、百货业等徽商的传统行业，都受到了极大冲击，形成“十商九困”的局面。
连一些朝廷要员，都对朝廷向商户索要苛捐杂税之弊深有感触。镇压农民起义颇有奇功的晚清要员尹耕云，曾向咸丰皇帝上奏道：“如今朝廷向商户新增加的‘抽厘’之税，尤其令我不忍言说。哪怕是当面交易的一点点商品，卖方和买方都要被从中抽走好几文钱的税金。至于商品的车船运输，最多五里就有一道收费的关卡，不出十里就一所局衙（商人必须交更多费用）。如此层层盘剥，商人面临着极大的成本，如何还能做得下去？物价又怎能不急速上涨？”
根据史料记载，当时江浙地区的“厘金”，税率之高居全国之首，这笔重税的多一半，都由徽商所纳。许多徽商之家由富转贫，由贫困转为赤贫，经商难以为继。
民国以后，徽商规模较之清末进一步萎缩。这期间，地产大王程霖生家族短暂的兴衰史，为传统徽商的闭幕，画上了一个光彩夺目的句号。
歙县人程霖生（1885—1943年），在民国时代的上海，一度堪称与犹太人哈同齐名的房地产巨商，其家族的豪宅——占地面积8293平方米的南京西路1522弄花园住宅——如今已成为上海市颇有名气的历史文物。
程霖生之父程谨轩，在晚清光绪年间从歙县老家背井离乡来到上海谋生，在上海滩的街头偶然捡到一个钱包，里面有大量的洋钞和汇票。他四处打探，终于找到了这个钱包的主人——礼和洋行的德国经理。德国经理接到失而复得的巨款后大为感动，当即以巨款相赠，程谨轩坚辞不受。交谈中，德国经理得知程谨轩没有固定职业，一贫如洗，便极力邀请他到礼和洋行工作。在礼和洋行，程谨轩凭着勤奋苦干的“徽骆驼”作风，不断赢得德国老板的信任。由此，程家积累了日后致富的第一桶金。
第一次世界大战期间，礼和洋行买进大量荒地，赠予身居洋行要职的程谨轩。程谨轩去世后，他的儿子程霖生对这些土地进行了开发。适逢上海日趋繁荣，地价飞涨，程霖生于是投资房地产，获得了巨额的收益，成为仅次于犹太巨商哈同的上海滩房地产巨商。
程霖生热爱国画艺术，尤其欣赏石涛的作品。清初的国画大师石涛是明室后裔，以“苦瓜和尚”自谓，他的山水画一反传统作品秀丽旖旎之风，多以浑厚乃至苍凉的风格，抒发其明末遗民的愤懑。在字画收藏领域，程霖生并未升堂入室跻身于专家之列，他曾以重金购得赝品。但无论画作的真伪，程霖生毕竟由此获得了极大的精神满足。
对传统文化的热爱乃至崇拜，数百年间一直是很多徽商的精神信仰，从马曰、马曰璐兄弟，到江春、胡雪岩等，莫不如此。
程霖生颇有现代思想，而且热爱国家，支持抗战。他与东北抗日将领朱子桥等交往甚密，并捐出巨资支援东北军抗日救国。他赞成歙县老乡陶行知的新式教育，并出资支持陶行知创办晓庄师范、淮安新安小学和歙县王充工学团等教育机构。
此外，他还热衷于家乡的公益事业，如捐资出版民国《歙县志》、独资栽植杭徽公路两旁树木、赠发电机开办屯溪电灯公司、捐资修渔梁坝和凤凰桥等，利国利民的义行不胜枚举。在每年夏季，他所处的财团还从上海运送大批防暑药物来歙县，分赠乡人治病。
金无足赤，作为旧时代买办商人的程霖生，也有吸食鸦片、迷信风水流年等陋习。他的侄子程贻泽更加挥霍无度，虽乐善好施但不善理财。1929年，程贻泽组建优游足球队并远征日本，取得了二胜二负的佳绩，一雪“东亚病夫”之耻，成为当时体育界的盛事。这虽是善举，但程贻泽不知前辈创业艰辛，花钱如流水且不计盈亏，终究是违背商道、欠缺理智的。
程霖生家族豪奢的背后，是对资产经营的极度自信，乃至自傲。这种心态，最终导致了程家的衰败。
1927年以后，上海标金市场极为动荡，暴涨暴跌非常频繁。程霖生听信命理术士“流年大利”的吹捧，从事标金投机，并为此倾注了巨额的资财，企图“毕其功于一役”，由此雄霸上海金融市场。他在金融交易中频频失手，造成现金周转失灵，于是向国外银行借款，贷款的背后，是房地产的悉数抵押。短短数年之内，程霖生便在标金投机中一败涂地，黯然迁出豪宅，此后他将多年来收藏的古董字画纷纷出售，赖以度日。
程霖生是旧时代最后一位徽籍巨商，其家族产业的凋零，某种意义上讲，标志着一个旧时代的消亡。
几十年后，中国实现了改革开放，社会风气焕然一新。但勤奋苦干的“徽骆驼”精神，依然薪火相传，而且从昔日的徽州山城，遍及整个安徽。悠久的徽州文化，成为安徽和江西两省共同分享的历史财富（新中国成立后，婺源划归江西）。而“新徽商”的足迹，再次遍布大江南北，从王致和等百年老店，到苏宁电器、比亚迪汽车等新品牌，在21世纪的今天，都堪称家喻户晓。“徽骆驼”的英雄本色，将随着新时代徽商的崛起，不断发扬光大！