一八一一年三月十日，他们从巴黎出发，但旅行的计划在数星期前已经决定了；三个孩子也不耐烦地等了好久了，老是翻阅那部西班牙文法，把大木箱关了又开，开了又关。终于动身了，雨果夫人租一辆大车，装满了箱笼行李，车内坐着母亲，长子阿贝尔，男仆一名，女仆一名。两个幼子虽然亦有他们的位置，却宁愿蹲在外面看野景。他们经过法国南部的各大名城，布卢瓦（Blois），图尔（Tours），博蒂埃（Poitiers）。昂古莱姆（Angoulême）的两座古塔的印象一直留在雨果的脑海里，到六十岁的时候，还能清清楚楚地凭空描绘下来。至于那西部的大商埠波尔多（Bordeaux），他只记得那些巨大无比的沙田鱼和比蛋糕还有味的面包。每天晚上，他们随便在乡村旅店中寄宿。多少日子以后，到达西南边省的首府：巴约纳（Bayonne）。从此过去，得由雨果将军调派的一队卫兵护送了，可是卫兵来迟了，不得不在城里老等。等待，可也有它的乐趣，巴约纳有座戏院，雨果夫人去买了长期票。第一个晚上，孩子们真是快乐得无以形容：“那晚上演的剧，叫作《巴比仑的遗迹》，是一出美好的小品歌剧……可喜第二晚仍是演的同样的戏！再来一遍，正好细细玩味……第三天仍旧是《巴比仑的遗迹》，这未免过分，他们已全盘看熟了；但他们依旧规规矩矩静听着……第四天戏目没有换，他们注意到青年男女在台下喁喁做情话。第五天，他们承认太长了些；第六天，第一幕没有完，他们已睡熟了；第七天，他们获得了母亲的同意不再去了。”
对于维克托，时间究竟过得很快；因为他们寄住的寡妇家里，有一个比他年纪较长的女孩，大约是十四五岁，在他眼里，已经是少女了。他离不开她：终日坐在她身旁听她讲述美妙的故事，但他并不真心地听，他呆呆地望着她，她回过头来，他脸红了。这是诗人第一次的动情……一八四三年，他写Lise一诗，有言：
Jeunesamourssivite épanoules,
Vous êtesl'aubeetlematinducoeur,
Charmeznoscoeurs, extasesinoules,
Etquandlesoirvientavecladouleur,
Charmezencornosames éblouies,
Jeunesamourssivite épanouies!
（大意）
转瞬即逝的童年爱恋，
无异心的平旦与晨曦，
抚慰我们的心灵吧，恍惚依稀，
即是痛苦与黄昏同降，
仍来安抚我们迷乱的魂灵，
啊，转瞬即逝的童年爱恋！
三月过去了，卫兵到了，全家往西班牙京城进发。
这是雨果将军一生最得意的时代，他把最爱的长子阿贝尔送入王官，当了西班牙王何塞（Joseph）的侍卫。欧仁和维克托被送入一所贵族学校。那里的课程是幼稚得可怜，弟兄俩在一星期中从七年级直跳到修辞班。那些当地的同学都是西班牙贵族的子弟，他们都怀恨战胜的法国人。雨果兄弟时常和他们打架，欧仁的鼻子被他们用剪刀戳伤了，维克托觉得很厌烦，忧忧郁郁地病倒了。母亲来看他，抚慰他。有一天，他在膳厅里和贝那王德侯爵夫人的四个孩子在一起玩耍时，忽然看见一个穿着绣花袍子的妇人高傲地走进来，严肃地伸手给四个孩子亲吻，依着年龄长幼的次序。维克托看到这种情景，益发觉得自己的母亲是如何温柔如何真切了。日子一天一天地过去，法国人在西班牙的势力一天一天地瓦解了。雨果一家人启程回国，孩子们在归途上和出发时一样高兴。
这些经过不独在雨果老年时还能历历如绘般讲述出来，且在他的许多诗篇（如Orientales）许多剧本（如Hernani，RuyBlas）中，留下西班牙的鲜艳明快的风光和强悍而英武的人物。东方的憧憬，原是浪漫派感应之一，而东方色彩极浓厚的西班牙景色，却在这位巨匠的童稚的心中早已种下了根苗。
