云台观遗址在今华山中学所在地。《南轩记》载，其地“原为古明堂地”，即古时一天子宣明政教及举行朝会、祭祀、庆赏、选士、教学等大典的地方。周末时，天子巡视诸侯的次数减少，各种大典仪式不再举行，这里逐渐门庭冷落，华山道士便来占地为观，讲经布道，使之成为老子之徒的领地。

北周武帝时，道士焦道广居云台峰，避粒餐霞，有三青鸟常报未然之事。武帝宇文邕亲谒山庭，临轩问道。后来就在大上方建白云宫、在道士所占的这块明堂地建云台宫，供焦道广居住。由于自然灾害的袭击，更因为战事连绵，兵荒马乱，云台观也难得清静。道士四处逃离，香火难续，云台观建筑腐朽倾圮，院内荒芜，杂草丛生。

大宋初年，陈抟从武当山云游到华山，选此处为栖身之地，于是便披荆斩棘，筑庵崦居，黄卷孤灯，呕心沥血，著书立说，完成了《钓潭集》、《三峰寓言集》等重要著作。

宋雍熙元年（ 984 ）宋太宗诏陈抟入朝，并赐号希夷，因陈抟坚决要求辞朝归山，云台观方得到宋朝廷的重视。宋真宗大中祥符二年（ 1009 ）五月，陕西大旱，宋真宗遣使来祷西岳。大中祥符四年（ 1011 ）二月真宗备牲礼亲谒岳庙，封岳神为顺圣金天王。然后亲临云台观视察，免除了云台观道士的地税田租，并指示陈抟弟子贾得升在观内营造“圣祖并真宗本命星官元辰三殿”；宋仁宗至和元年（ 1054 ）又增建集真殿。南宋孝宗淳熙十四年（ 1187 ）朝廷任命理学家朱熹主管华山云台宫，朱熹虽没有来过华山，但自称云台真逸。于是观内后来就了朱子祠。明成化庚子（ 1480 ）年，观内又添置三清殿。明正德乙亥年（ 1515 ）又增修重建，然而明嘉靖乙卯年十二月（ 1556 ）关中地震，观中建筑全部塌毁，十余年间一片废墟。此后，知府赵儒及邑中举人王来宾等募集千金于明隆庆庚午年（ 1570 ）在故址重建三清殿、玉皇殿、西岳殿、山字门，至壬申年（ 1576 ）春，华阴令李时芳又筹集资金，召集四方工匠，历时三年对云观观作了较大规模的增修，其中把西岳殿，三清殿、玉皇殿一律扩充至五楹，在三殿这东西又增筑祠庙三所，以祀诸神。不在祠前建集灵坊。山门匾额题刻曰：重建云白观。据《南轩记》载，这次扩建重修，“自西岳殿两序达于三清殿延为旋廊，又达于山门缭以崇垣。外为道院四区，重以周垣。阖观地凡亩有奇，外附观祀田凡四百亩有奇。”可以说，这是云台观建筑规模最大，建筑最宏伟壮丽的一页。此后，清朝康熙年间，嘉庆年间都对云台观作了不同程度的修葺，云台观的建筑不断趋于完善。清时所绘云台观图可作见证。

云台观总占地面积约四百余亩，主体建筑有三清殿、玉皇殿、西岳殿、六师殿、三官殿、无量殿、北斗宫、文昌阁、焦仙洞、陈师庵、朱文公祠等。观墙外有八角井一口，称云门池。晋柏一棵，为西晋太康九年（ 288 ）弘农郡太守魏君实植，连同井畔那块奇石，共称为一柏一石一眼井。此处还传为陈抟赐银给赵匡胤父子的地方。

由于云台观在历史上为重要的道教活动场所，故有关观内羽流们的传奇颇多。《真仙通鉴》记述，有个叫王廷的人，从小慕道，来云台观拜焦道广为师。焦道广授他三洞秘诀真经。北周武帝好道，召王廷进京布道，他住了不长时间就要求回云台观。武帝答应了他的请求，并拨款修葺云台观，以方便他居住。然而动工时缺土，王廷默祷后，忽有土涌于观侧，取之不竭。道士们苦于缺乏灯油，要王廷祷告，王廷让道士置器皿，经夕油不添自满，且用之不尽。后来王廷羽化，下葬时，徒弟放置棺木，觉得不对劲，打开一看，原是口空棺。

《华岳志》载，云台观有个叫何阿六的女子，每天只为道姑干些打柴提水的粗活。一天，众道姑闲聊，言江东柑桔味美而秦地难觅。何阿六听了莞尔一笑，出门去不长时间，回来后自袖中拿出几枚柑桔给众道姑分享。