章帝、汉和帝先后征召其为太傅、冀县侯等职，均辞。之后张道陵开始云游名山大川、访道求仙。
先是南游淮河，居桐柏太平山，后与弟子王长、赵升一起渡江南下到了江西贵溪县云锦山。
云锦山山清水秀，景色清幽，为古仙人栖息之所，张道陵就在山上结庐而居，并筑坛炼丹。传说三年后神丹成，龙虎出现，故此山又称龙虎山。
时年张道陵60岁，听闻蜀中民风纯厚，易可教化，便移居四川鹤鸣山。相传汉顺帝汉安元年（142）正月十五日，太上老君降临蜀地，传授张道陵“正一盟威之道”，嘱其扫除妖魔，救护生民。
张道陵就此创立了道教，尊老子为教祖，以“道”为最高信仰。永寿二年(156)升仙而去，时年123岁。