Что до Карла Анжуйского, то он и вовсе подвергается королевскому разносу: «Он также жаловался мне на графа Анжуйского, плывшего на нашем корабле, что тот совсем не бывает у него. Однажды он спросил, что делает граф Анжуйский; и ему ответили, что он играет за столом в кости с монсеньором Готье де Немуром. И король отправился туда… и отобрав кости и стол, он выбросил их в море; и он очень сильно разгневался на своего брата за то, что тот столь рано начал играть в кости». Эпизод очень яркий и много говорящий как о Людовике, так и о Карле. Мы видим несчастного, расстроенного короля, который остро переживает неудачу своего похода, явно воспринятую им как проявление Божьей немилости. Людовик жаждет поддержки со стороны самых близких ему людей — братьев, но не находит ее (или ему кажется, что не находит). Он горюет о погибшем Роберте, в то время как Альфонс и Карл не спешат к брату, возможно зная его крутой нрав и не желая лишний раз становиться объектами королевского гнева.
Впрочем, Карлу в истории с игрой в кости этого гнева избежать не удается. Людовик раздражен легкомысленным, по его мнению, поведением младшего брата — к тому же король не любит азартных игр (позднее он запретит их во Франции). В то же время поведение Карла кажется вполне естественным для молодого человека в затянувшемся морском путешествии — ну почему бы не скоротать время у игорного стола? Карл явно в меньшей степени, чем старший брат, переживал египетскую неудачу и, возможно, просто радовался тому, что ему, в отличие от несчастного Роберта д'Артуа, удалось выжить в этой мясорубке. Характерна и склонность молодого графа к азарту — впоследствии Карл еще не раз проявит ее, и не только за игрой в кости.
В Акре Карл Анжуйский пробыл совсем недолго — как уже говорилось, в мае 1250 года вместе с Альфонсом де Пуатье он отбыл во Францию. Этому предшествовал большой королевский совет, на котором Людовик IX хотел выслушать мнения своих приближенных относительно того, стоит ли ему оставаться в Святой земле. Если верить Жуанвилю, абсолютное большинство вельмож выступило за возвращение на родину. В пользу пребывания в Иерусалимском королевстве, помимо самого сенешаля Шампани, высказался лишь представитель местной знати — граф Яффский. От имени большинства говорил монсеньор Ги де Мовуазен; после него король «спросил графа Анжуйского, графа де Пуатье, графа Фландрского и многих других знатных людей, сидевших там; и все согласились с монсеньором Ги де Мовуазеном», сказав, что королю следует вернуться домой. Тем не менее, взяв время на размышление, Людовик примкнул к меньшинству — и остался на Востоке еще на четыре года.
Видимо памятуя о том, как братья короля ратовали за прекращение похода, Жуанвиль с удивлением пишет, что «когда граф Анжуйский увидел, что ему пора садиться на свой корабль, он выказал такую скорбь, что все этим были поражены; и однако же он отплыл во Францию». Обстоятельства этого не совсем ясны: «Говорили, что король приказал своим братьям возвратиться во Францию. Не знаю, было ли это по их просьбе или по королевской воле». В сцене отъезда нам на мгновение открывается другой Карл — не решительный, но несколько безрассудный воин, бьющийся с сарацинами в Египте, и не легкомысленный игрок в кости, получающий нагоняй от сурового брата-короля, а человек, способный на глубокое переживание. Возможно, оно было связано с тем, что Карл оставлял своего короля в непростом положении: войско, находившееся в распоряжении Людовика, было явно недостаточным для отражения возможного нападения сарацин, а тем более монголов, и королю Франции очень повезло, что ничего подобного до его возвращения домой в 1254 году не случилось. Каковы бы ни были трения между братьями, Карл всю жизнь глубоко уважал Людовика и был ему неизменно лоялен, поэтому мысль о том, какие неприятности еще могут ожидать брата, остающегося на Востоке, не могла не угнетать его.
Впрочем, есть и иная версия поведения братьев короля, куда менее лестная для них. Вполне вероятно, именно этой версии придерживалась королева Маргарита — супруга Людовика и сестра жены Карла: «Братья предали Людовика. Они спасали свои шкуры… Маргарита знала, что при желании тоже могла бы, взяв ребенка, отплыть во Францию. Но если бы она поступила так, Франция осталась бы без короля. Ее неприязнь переросла во враждебность, а потом и в ненависть. Она никогда не забудет и никогда не простит». Маргарита имела право судить о храбрости и ее отсутствии: в ходе злополучного египетского похода она защищала от сарацин Дамьетту, оказавшись там в отсутствие короля, который был отрезан от занятой крепости противником. Не исключено, что истоки вражды между Маргаритой и Карлом Анжуйским, которая достигла апогея в последние годы царствования Людовика Святого и при его преемнике Филиппе III, следует искать в тревожных днях Седьмого крестового похода.
Возможно, уезжая, Карл думал о том, что пережил за время египетской эпопеи, и горевал, как любой солдат, возвращающийся хоть и живым, но с проигранной войны. Крестовый поход, несомненно, сделал Карла Анжуйского, несмотря на молодость, зрелым человеком. К обретенному им военному опыту следует прибавить и сугубо личный, тоже непростой и печальный. Воюя, а затем находясь в плену, Карл не знал, что происходит с его женой, жива ли она. Еще во время затянувшейся стоянки на Кипре у Карла и Беатрисы родился первенец, названный в честь короля Людовиком. Роберт д'Артуа писал тогда матери, Бланке Кастильской: «Знайте же, что графиня Анжуйская на Кипре произвела на свет весьма миловидного и крепкого сына, коего передала кормилице и оставила здесь». Но ребенок прожил совсем недолго, не перенеся жары и антисанитарии. Так что свой династический долг граф Анжуйский пока не исполнил, и это, вероятно, тоже вызывало у него грустные мысли.