清朝以来，莱芜地区出现了农副产品的贸易鼎盛期，周边饲养的牛羊在此也成为一个集散地。莱芜黑山羊代代选择留种，并逐渐形成了肉质好、耐粗饲、抗病力强的特性。

清朝后期（19世纪末至20世纪初），大批回民迁徙到莱芜，且做牛羊生意。饭店以选用莱芜黑山羊做羊汤最为知名，受到各方来客的垂青。“汤清肉嫩，不肥不腻，不腥不膻，味道鲜美”成为山东名吃。并逐步形成了“吃黑山羊肉、喝黑山羊汤”的莱芜清真饮食文化。

民国二十四年（1935年），《莱芜县志》记载：该地山区农民自古就有放牧饲养山羊的习惯，是山区农业的重要组成，是农家的重要收入来源。家家有羊只、村村有牧群。牧饲是以多户集中、专人放牧，常年放养。羊粪、羊绒归放牧者，所生的羔羊归主户，日积月累粗放生产。

1999年，莱芜黑山羊被中国鉴定为优良地方品种。

2013年，莱芜黑山羊被国家列入畜禽遗传资源保护品种。

2014年，莱芜黑山羊原种场被列为国家级保种场。

2000年12月，山东省科委组织国内畜牧专家对“莱芜黑山羊高繁品系及配套技术研究”项目进行鉴定验收，莱芜黑山羊高繁品系培育项目整体技术水平达到国内同类研究领先水平。