從典籍的記載來看，一個男人但凡覺得“女色”要緊了，上足以國破家亡，比如桀紂之流，代表人物眾多；下可能身名俱敗，比如焦仲卿、錢謙益之流——焦仲卿要是不那麽迷戀劉蘭芝，他老娘就不會對兒媳婦那麽刻薄，兩人也就不至於殉情自殺；錢謙益更糟，從“我本欲殉國，奈小妾不與可”到“人生忠佞看到頭，至竟延齡在何許”，搞得生前死後都淒惶不堪。
所以，聰明的古代俠客義士們，常常“於女色上不十分要緊”。當然不僅僅是俠客義士，更多的人，隻要他夠聰明，就不會讓自己沉溺於女色——不過，那些自以為自己怎麽折騰都不會國破家亡、身名俱敗的主兒除外，因為他們幹那些事兒時，一手舉著鑲嵌利刃的大棒、一手拎著紅紅綠綠的帶秧胡蘿卜。
李宗吾手上隻有書和筆，沒有大棒和胡蘿卜，所以，他是個非常規矩的聰明人，自打青春年少開始，就“於女色上不十分要緊”。關於這一點，最早的證明便是曾經很後悔自己沒當上羅家女婿。
在茂源井劉家私塾讀書期間，老師們有什麽耽誤，就會請一位羅二老師來代課。羅家兩兄弟都是李宗吾的父親靜安先生的好朋友，當地人按照排行稱他們羅大先生、羅二先生。
白天，這位羅二先生吞雲吐霧地抽鴉片煙，學生背書的時候也不起來，就那麽側躺著聽學生背四書五經，誰背錯了一個字他都知道；晚上，這位羅二先生把學生安排在燈下亮處看書，他坐在暗處講解，講一段便問學生：“是不是這樣？”學生開始還看看書，對照一下，回答：“果然這樣。”後來知道不需要看了，就直接回答“是這樣”。教學生讀八股的時候，羅二先生會把以往的範文默寫出來，等學生讀熟了，再默寫一篇出來。羅二先生的這些才華，讓少年李宗吾佩服至極，也為他後來想做羅家的女婿打下了思想基礎。