隋炀帝晚年，特别陷溺于女色。有一日，他对身边的侍从说：“人主享有天地间的所有财富，也应该尽情享受年轻时能享受到的快乐，使自己称心如意。我的天下安定富庶，没有外患，使我能满足享乐的愿望。我的宫殿虽然壮丽宽敞，但遗憾的是没有曲房小室，幽轩短槛。

　　如能得到这些，那么我就希望终老其中了。”

　　近侍高昌上奏说：“臣有一位朋友项升，是浙江人，自称能制作宫室。”第二天，召来项升询问。项升说：“臣请求先让我献上宫室的图纸。”过了几天，把图纸进献上来。炀帝披览过后，十分高兴。当天就诏令主管官员，要他们供应用料木材。总共役使民工数万，经过一年时间才建成。但见楼阁高低参差，门窗相互掩映。幽深曲折的房间，白玉的和朱白色的阑干，相互连接，回环四合，弯弯曲曲的房屋相互连通。千门万户，上下金碧。金龙伏于梁栋之下，玉兽蹲踞于门户两旁，墙壁和台阶映射光彩，镂花的窗户透过阳光，巧夺天工达到极点，是自古以来所没有的。泯灭钱财金玉，使国库为之一空。如有人误入其中，纵然转上一整天也不能出去。炀帝游幸过后，大喜，对身边的人说：“让真正的仙人游览其中，也会迷路的。可把它命名为‘迷楼’。”

　　诏令犒赏给项升五品官，还赐给他内库的绢帛一千匹。诏令遴选后宫中良家女子数千名，让她们在迷楼内居祝炀帝每去游幸一次，有时一个多月都不出来。

　　这个月，大夫何稠进献御童女车。车子的尺寸规格非常小，只能容纳一人，车中装有一种组织，用这组织锁住女子的手脚，丝绝不能动弹。炀帝以处女进行尝试，非常欢乐。召来何稠，对他说：“你的巧思，怎么会如此神妙?”就赐以千金，以表彰他的巧思。何稠出来后，对人谈起车子的机巧。有晓畅人就说：“这可不是合乎品德的东西。”何稠又进献一种转关车，用人来拉它，可以升楼阁如行平地。在车中与女子交合，女子会自刚强摆，炀帝更加高兴。他对何稠说：“这车叫什么名字?”何稠说：“我是任意造成的，没有名字，希望皇上赐给佳名。”炀帝说：“你任你的巧意造成此车，我得到后，任我的心意来取乐，可把它命名为‘任意车’。”何稠再三拜谢而去。

　　隋炀帝又命令画工绘制了几十幅男女交合的图画，把它们悬挂在阁楼中。那一年，上官时从江南被替调返来。他用乌铜铸造了八面门扇，每面门扇高五尺、宽三尺，将它们打磨平滑，成为铜镜，作为屏风，可以环立在宿舍里。他带了这些屏风到皇宫中进献。炀帝把这些屏风放进迷楼内，在屏风里与女子交合，人体的最细微处都显现在铜镜中。炀帝大喜说：“绘画只能得到人的大致相貌，这种屏风能得到人的真实面容，要超过绘画万倍哩。”又以千金犒赏上官时。

　　炀帝整天沉溺于迷楼里荒淫享乐，把自己的精力都耗尽了，感到十分疲惫。他望着近侍说：“我回忆初登帝位时，十分辛苦却不想睡觉(sleep)，要得妇人枕着方能合眼。刚像是入梦，又马上醒过来。现在一睡下去就昏昏糊糊地醒不过来，一接近女色就感到疲惫，是为什么呢?”

　　改天，矮人王义就上奏说：

　　臣是乡野间一个残疾人，做什么事都赶不上别人。出生于偏僻辽远皇恩难及之地，有幸因为入贡，得以留在后宫做扫除的工作。陛下对臣特加宠爱厚遇，臣曾经自施宫刑以求侍奉陛下。从此出入陛下的卧房内室，来往于各宫室之间，方今陛下的亲信，没有比得上臣的。臣因此得以阅览宫中图籍，反复玩味，略有所得。臣听说人有精气便耳聪目明。陛下尚未登基之时，先帝勤俭，陛下也很少亲近声色，每日接近的都是有德之士。陛下精气充实于内，清朗的神貌便显示于外，所以白天晚上都不想入睡。陛下这几年来声色无数，充盈后宫，陛下日夜游宴于其中。不是吉庆节日，陛下何尝亲临前殿?其余时候也多不上朝。偶尔接见远方宾客，或接受不定时的祝贺，也很晚才坐朝，不到片刻，就圣驾起身进入后宫。把有限的精力投入到无尽的欲望中，臣早就料定陛下会疲惫的。臣听说古时候有位山野老叟在盘石上独自歌舞。

　　有人问他说：“你为什么独自一人会如此快乐?”老叟说：“我有三乐，您知道吗?”人问：“哪三乐?”老叟说：“人生难遇太平盛世。我现在不见兵革，这是一乐。人生难得肢体完全。

　　我现在不残疾，这是二乐。人生难老寿。我现在八十岁了，这是三乐。”这人听后，叹赏而去。陛下享有天下的富贵，圣貌轩昂潇洒，有龙凤之姿，却不自己珍重珍惜，陛下所想的确实赶不上那山野老叟。臣是微不足道的一介小民，难于报效圣上恩德，不知隐讳，实在冒犯龙颜。

　　于是俯伏在地，流泪哭泣。炀帝就命人将他搀扶起来。

　　第二天，炀帝召来王义对他说：“我昨晚思考你的话，极有深理。

　　你是真正爱护我的人。”就命令王义在后宫选择了一间静室，炀帝住在里面，宫女都不得进入。呆了两天，炀帝很生气地出来，说：“怎么能郁郁寡欢地居住在这里呢?如是这样，虽然寿命有千万岁，又有何用。”

　　于是又再次进入迷楼。

　　迷楼中宫女无数，后宫不能侍寝于天子的也极多。后宫宫女侯夫人有美色，有一日，悬梁自尽了。她的手臂上挂着一个锦囊，里面装有文章，左右将它取出来进呈皇上，原来是一些诗。有《自感》三首说：庭绝玉辇迹，芳草渐成科。

　　隐约闻箫鼓，君恩那边多?

　　欲泣不成泪，悲来翻强歌。

　　庭花方烂熳，无计奈春何。

　　春阴正无际，独步意如何?

　　不及闲花柳，翻承雨露多。

　　《看梅》二首说：

　　砌雪无消日，卷帘时自颦。

　　庭梅对我有怜意，先露枝头一点春。

　　香清寒艳好，谁识是天真。

　　玉梅谢后阳和至，散与群芳安闲春。

　　《妆成》说：

　　妆成多自惜，梦好却成悲。

　　不及杨花意，春来到处飞。

　　《遣意》说：

　　秘洞扃仙卉，雕窗锁玉人。

　　毛君真可戮，不肯写昭君。

　　《自伤》云：

　　初入承明日，深深报未央。

　　长门七八载，无复见君王。

　　春寒人骨清，独卧愁空房。

　　飒履步庭下，幽怀空感伤。

　　平日新珍惜，自待聊非常。

　　色美反成弃，命薄何可量?

　　君恩实疏远，妾意徒彷徨。

　　家岂无骨肉，偏亲老北堂。

　　此身无羽翼，何计出高墙?

　　性命诚所重，弃割良可伤。

　　悬帛朱栋上，肝肠如沸汤。

　　引颈又自惜，有若丝牵肠。

　　毅然就死地，从此归冥乡!

　　炀帝读了她的诗，止不住地伤感。他又前往看她的尸体，说：“她已死去，容颜还像桃李花那般鲜艳。”于是迫切召见中使许廷辅说：“我已往派你到后宫选择女子进入迷楼，为什么单单不要这个人?”就命令将许廷辅投进监狱，赐他自尽，用厚礼殡葬侯夫人。炀帝每日吟诵侯夫人的诗，酷爱其文，就命令乐府配乐歌唱。炀帝又到后宫亲自遴选百名女子进入迷楼。

　　大业八年，方士□千进献大丹，炀帝服用后，荡思愈发不可抑制，一昼夜与数十名女子交合。到了炎天，炀帝感到心里烦躁，每日要喝几百杯水，还不能止渴。医官莫君锡上奏说：“皇上心脉烦盛，真元太虚，多喝水，就会生大玻”于是进献方剂治疗。并请求放一个冰盘在天子面前，使天子能早晚都看见它，也算治疗烦躁的一种办法。从那以后，各院美人都去买冰来做冰盘，希望以此让天子到临，京城里的冰因此而价格飞涨，藏冰之家，都赚钱千金。

　　大业九年，炀帝再次游幸江都。有迷楼宫女静夜高声歌唱道：河南杨柳谢，河北李花荣。

　　杨花飞去去那边?李花结果自然成。

　　炀帝听见这歌声，就披衣起身谛听，召来宫女问她说：“是谁让你这样唱的?依然你自己这样唱的?”宫女说：“臣妾有个弟弟，他从民间听到了这首歌，说‘道途儿童多唱此歌’。”炀帝沉默了好久，说：“是上天在启示他们，依然有人在启示他们!”炀帝于是要了一杯酒，自己唱道：宫木阴浓燕子(swallow)飞，兴衰自古漫成悲。

　　异日迷楼更好景，宫中吐艳变红辉。

　　唱完后，不胜其悲。近侍奏道：“皇上无缘无故地悲伤，又歌唱，我们都不知道是什么意思。”炀帝说：“休问，它日自会知晓。”之后炀帝游幸江都。唐帝统兵命令进入京都，看到迷楼，大惊说：“这都是老百姓的膏血制作成的啊!”就下令将它销毁。过了一个月火都未熄，前面的歌谣和诗歌中所说的都显验了。方知世代兴亡，并非偶然。