楊業又名楊繼業，原名重貴，麟州新秦（今陝西神木）人。其父楊信在後漢曾任麟州刺史。因他長期在太原生活，故《宋史》稱他為太原人。
楊業就是後代戲曲小說中的楊老令公，是“楊家將”中的第一人。他從小就擅長騎射，愛好打獵。一次，他對與自己一同打獵的好友說：“我以後帶兵打仗，也會像現在一樣，迅猛如鷹犬捕殺野兔。”
楊業青少年時為後漢河東節度使劉崇的部屬。劉崇在太原割據，建立北漢政權，提拔楊業為建雄軍（今山西代縣）節度使，並賜名劉繼業，讓他長期鎮守北方重鎮代州，在那裏抵禦遼兵的侵擾。楊業每戰必捷，立下不少戰功，當時就被人稱作“劉無敵”。
太平興國四年（979），宋太宗率大軍親征北漢，兵圍太原，楊業把守太原城的東南麵，令在此進攻的宋軍膽寒。當劉繼元出城向宋太宗投降時，楊業仍領人在城南苦戰。宋太宗非常欣賞楊業，命劉繼元派人去通報降訊，楊業聽後，一個人向著北麵大哭一場，才解甲投降。宋太宗對楊業厚加賞賜，任命他為左領軍衛大將軍、鄭州防禦使，仍帶兵鎮守代州，在河東戰場上抗擊遼兵。
太平興國五年（980）三月，遼景宗派駙馬蕭多羅率軍十萬進犯雁門，楊業手下隻有幾千人馬，知道不能和遼軍硬拚。於是他派遣少數士兵固守關城，自己率領幾百精兵抄小路繞到雁門關以北，轉到遼軍背後發起進攻。遼兵一路向南進軍，沒有遇到什麽抵抗，正在得意時，忽然從後麵響起一片喊殺聲，隻見煙塵滾滾，一支騎兵從背後殺來，像猛虎衝進羊群一樣，亂砍猛殺。遼兵毫無防備，又弄不清後麵來了多少人馬，個個心驚膽戰，陣容大亂，哪裏還抵擋得了，紛紛向北逃竄。此次戰役，楊業刀斬蕭多羅，生擒遼將李重海，被遼軍稱為“楊無敵”。自此，遼人每每同宋軍作戰，隻要一看到楊業的旗幟，都會望而生畏。楊業在這次戰役後被提升為雲州觀察使，由於楊業威望太高，使他遭到其他宋將的妒忌，有的甚至上書誹謗他，但太宗並不相信這些不實之詞，還把舉報的書信交與楊業本人，以示對他的信任。楊業對此自然是感激涕零，決心效忠太宗。