他与霍小玉的相识，发生于中举之后，选官之前，脂粉之地，烟花之所。
霍小玉本是霍王的小女儿，母亲是府上的婢女。霍王死后，母女俩被赶出王府，无以为生，沦为娼妓。遇到李益时，小玉年方16，明眸皓齿，娇声低语：“开帘风动竹，疑是故人来。”
这正是李益的诗作。两人郎才女貌，一见倾心。接下来的情节不用说都知道了，无非指天誓海，软玉温香，不尽缠绵之意。
一日，小玉流泪说：“妾本倡家，自知难为佳配。今以色爱，托其仁贤。但虑一旦色衰，恩移情替，使女萝无托，秋扇见捐，极欢之际，不觉悲至。”
李益听了，立刻索缣素立誓，引谕山河，指诚日月，句句恳切，闻之动人。小玉自以为终身有托，将缣素珍藏匣内，自此两人更加恩爱。
次年春天，李益参加制举考试，得授郑县主簿。
临别时，小玉对李益说：“以君才地名声，一定有很多人家争着与你结亲，况你上有高堂，严命难违，我也知道所谓盟约之言，不过都是虚话罢了。但我只有一个心愿，望你答应我。”
李益忙问：“你有何愿，我决无不应。”
小玉说：“我今年18岁，郎君22岁，离三十而立还有八年。我只望求你能再给我八年时间，容我在年华最好的时候陪伴于你，然后再另选名门贤妻，到那时我剪发披缁，遁入空门，此生无憾。”
李益指天发誓说：“我从前说的话都是假的吗？你放心，我到任上稍作打点，最晚八月，必遣人来接你，我们很快就会见面的。”
然而李益到任不久，回洛阳省亲，听从太夫人意思，很快就娶了名门卢家的小姐为妻，并且从此绝了和霍小玉的联系，来信不回，约见不理。
霍小玉听说了李郎负心的消息，又伤心又委屈，忧思成疾，渐至枯槁。
章台柳的故事里有一位侠客许俊前往番府绑架柳氏，霍小玉的故事里也有一位侠客，没有名字，就叫黄衫客。“衣轻黄纻衫，挟弓弹，风神俊美，衣服卿华。”听说了这件事后，一时打抱不平，竟然将李益绑了就走，带至霍小玉家中，报称：“李十郎至矣。”
霍小玉已是油尽灯枯，手握李益臂叹道：“李君李君，今当永诀！我死之后，必为厉鬼，使君妻妾，终日不安！”说罢掷杯于地，长恸号哭数声而绝。
此后，李益连续娶妻休妻三回，终生婚姻不谐。
这个霍小玉的故事听起来很有几分聊斋意味，不过小说作者蒋防（792—835）虽然比李益小四十岁，却只比李益晚死五年，小说写成的时候，李益还活着，且高居尚书之位。所以蒋防造谣的可能性应该不大。
蒋防为翰林学士，善诗文，但是作品中最著名的，却是这部《霍小玉传》。明代文学家胡应麟推为“唐人最精彩动人之传奇”。明代戏剧家汤显祖的“临川四梦”之一《紫钗记》，就是以此为素材的。
最有趣的是，明朝还有一位叫陈季同的作家，竟以《霍小玉传》为蓝本，写了一部法语长篇小说《黄衫客传奇》，1890年在巴黎出版，1900年被译成意大利文在罗马出版。这是第一部中国人用西方语言创作的长篇小说，实在是太牛了。
遂有人题诗赞叹霍小玉：
一代名花付落茵，痴心枉自恋诗人。
何如嫁与黄衫客，白马芳郊共踏春。
李益劝人嫁与弄潮儿好过嫁商贾，而后人则劝霍小玉嫁黄衫客好过嫁诗人，真是“且看剃头者，人亦剃其头”。
一个色若春花的女子，爱自己爱到绝命，这给李益造成的情感打击也必不小。
他有一首情诗极其缠绵，是我最喜欢的七绝之一，不知道是不是写给霍小玉的：
写情
水纹珍簟思悠悠，千里佳期一夕休。
从此无心爱良夜，任他明月下西楼。
