雖然民間也有很多關於〞綠帽子〞一詞來源的說法．但是說法不一，都拿不出讓人信服的真憑實據來．然而很多人可能都不知道，其實〞綠帽子〞是來源於很久以前的唐宋。
話說唐宋時期文風特勝，正是名士倍出之時．文雅之士相互推崇，大傢伙吟詩作賦，相互結交．有時候只為推敲詩詞更是徹夜不眠，只道是知己難逢．
那時候有一個叫李緣銘的文人，他酷愛辭賦，經常邀朋喚友來家中作客，只為吟詩作對便可徹夜不眠．是故他也經常去友人家中作客，討論辭賦．此人有一妻貌若天仙．只怨嫁了李緣銘，是故常常獨守空房．空房的滋味實在是不好受，但既以嫁了卻也無甚怨言。
然而時間一長，這位美若天仙的女子便覺得很是難受．住她家隔壁有一戶人家，男子因喪妻一直單身．這位男子自然見過這位天仙一般的美女，他常常爬在院牆上偷看她．並且一直垂涎著她的美貌，雖有色心卻沒色膽。
有一天，這位叫李緣銘的文人又去朋友家中作客，獨留她冷清一人．閒來沒事，她便依在門口看著門外發愣．這時隔壁的單身漢也正坐在門口發呆，她覺得太寂寞了，便叫來了單身漢陪她聊天．那單身漢更是求之不得，於是在以後一段日子裡，每當寂寞的時候她便找他聊天，而他也迫切的等著她來找他．
正所謂日久生情．時間一長，兩人之間竟然產生了些許的情素．終於有一天她和他做了出軌的事．這李緣銘平時本就很少在家，對她也是關注得少，因而他妻子和那單身漢的事情，他一點也不知道．然而正所謂作賊心虛，雖然李緣銘很少在家，但有時候他畢竟還是會回家的，由於害怕倆人的事情被其察覺，所以他們思前想後決定想一個辦法，以免正巧這李緣銘在家碰到．想來想去倆人也沒想不出個主意。
話說有一天，這位天仙女子準備上街賣點飾品，但此時太陽正烈，於是她便把自己相公平時戴的帽子戴在了自己頭上．而當時的文人都喜愛戴著綠色的帽子，也許是因為文人們覺得綠色有青春蓬勃之意．也就是這樣這名女子無意想到了一個好的主意．於是每當李緣銘不在家的時候，她便戴著他的綠帽子在外面走動，單身男子看到後就心領神會。
就這樣他們安安心心的背著李緣銘偷情，雖然他們自以為萬無一失，但事情總有出乎意料的時候．終於有一天，因為一卷詩詞忘在家中，才出門不久的李源銘急匆匆的趕回了家．結果他的妻子和那單身漢的事情被他撞了個正著．一直文雅風流的李緣銘惱羞成怒．他一氣之下休掉了自己的妻子．從此他的妻子和那單身漢子偷情的事情也逐漸流傳開來，後來大家便把那些不守婦道背著自己相公偷漢子的事情叫做戴〞綠帽子〞。
聽說自那以後，文雅之士們便不再戴綠顏色的帽子．從此綠帽子就成了男人的忌諱．〞綠帽子〞一說也自那以後流傳自今了。