高迁古村始建于元代，几经变迁，现存建筑保留了明末清初的风貌，依照太和殿模式，相继建成六叶马头四开檐“三透九门堂”楼房13座，除烧毁2座外，仍有11座宅院，完整的格局一如往昔。每一座宅院各具风格，外形优美，宅院装饰十分讲究，木雕、石雕、砖雕、悬雕、浮雕，巧夺天工。慢慢行走其间，用心寻找，就会不时有精美的雕刻让人不由驻足。
高迁古民居是吴氏一族集居地，保存有十三座明清年间仿照太和殿建成的古宅院，是典型的江南望族居住地。吴氏一族始于五代（梁）光禄大夫银青，史上曾涌现出北宋龙图阁直学士吴芾、南宋左丞相吴坚、明代左都御史吴时来等杰出人才，至十七世浙东副元帅、怀远将军兼仙居县尹熟公来高迁居之。
通往古宅的乡间小路上，两只大灰鹅，挺胸仰脖，顿时对这里感觉亲切起来。这些宅院，据说是吴氏家族的聚集地之一，山水环绕的院落民居，白墙灰瓦与流水垂柳互映衬，雕梁画栋的窗户，石子门堂，巷道深深。生活在此，一幅世外桃源的景象让人留恋。
在高迁古村，村民依然居住在这里，因而宅院仍然都是活的。开放的七座宅院中居住着的，大部分都是老者与孩子，老人们慈祥的目光注视着每个进来的人，孩子们则好奇张望着。外面的纷扰仿佛都与这里无关，灶台冰凉，长久没生火，黑黑的烟灰从梁顶悬下，古宅木质的楼面有些松动，吱吱呀呀地更显出这里的宁静。
这里的村民尚还保存有相当多的传统习俗，像是纺纱、结带、编草鞋、捣年糕等。人与古居相得益彰，一幅与世无争的田园生活图景。
