徽州砖雕由明代徽州窑匠鲍四首创。相传鲍四跟父辈学会了烧窑活计，砖瓦生意虽好，但烧砖要花去不少时间和人力，赚不了几个钱。他看那些徽商会做生意的往往都富了回来，大把大把的钱钿往外掏，眼馋得很，便买了砖窑到淮安去做生意。鲍四几年生意一做，赚了无数的钱财，竟成了徽州首富。
他非常得意，就处处表现自己有钱，在淮安修了鲍四庙，塑了自己的全身像，又揭榜要造一条鲍四街，说自己钱财无数。这时一个手抱长颈瓶，瓶插杨柳枝的中年妇女，来到鲍四面前一个嵇首说：“鲍老板，你别吹牛，世上只有技艺无尽头，哪有什么钱财无限。”
鲍四听了涨红了脸，说：“你会什么技艺！”中年妇女说：“我会做莲花”鲍四不信，凭借自已钱多，提出要打赌，自己一步放一个元宝，对方得跟着放一朵莲花，一决输赢。那妇人满口答应，向前走一步，用手往地上一指，地上便现出一朵莲花，鲍四便跟在后面放上一只元宝。
这样一步一放，半里路下来，那妇人的莲花还有，但鲍四的元宝没有。鲍四只好认输，淮安人使用地上的元宝在那放莲花的路面上盖了街房，起名叫“莲花街”。鲍四一下身无分文，只得砸了庙中的自身像，凑了点盘缠，回到徽卅，只得又重操旧业——烧窑。
有人告诉他那以莲花赌元宝的妇女是观世音，鲍四领悟，“钱财有限，技艺无穷”是神仙教诲，从此一心归门烧砖，由于对莲花印象太深，便烧起莲花砖，渐渐又在砖上刻了花木、虫鱼、人物、楼阁。
三年后，鲍四技艺逐渐娴熟，收了几个门人一心研究砖雕。其时，一些徽商发财致富后，纷纷回故乡大兴土木，修词堂，建宅第，往往不惜重金。秀丽精美、清新淡雅的砖雕被广泛应用。从此徽州砖雕发展起来，名扬全国。