Тем временем из Рима начали одна за другой поступать новости о переменах на папском троне. После того как в начале 1276 года скончался неуступчивый Григорий X, кардиналы, наученные горьким опытом конклава 1268–1271 годов, быстро избрали его преемника, савойского кардинала, ставшего Иннокентием V. Но тут вмешались высшие силы, и в течение 1276 года на папском престоле сменилось четыре понтифика. Папа Иннокентий правил пять месяцев и умер от болезней; его преемник Адриан V продержался лишь месяц, скончавшись от лихорадки; португальский кардинал, вступивший затем на престол под именем Иоанна XXI, протянул восемь месяцев, пока не погиб, наверное, самой странной смертью, которой когда-либо доводилось умирать римскому первосвященнику: на него рухнул потолок в одном из папских покоев. Через полгода, в ноябре 1277 года, новым понтификом был избран представитель одного из самых знатных римских родов — Джованни Гаэтано Орсини, принявший имя Николая III. Ему было суждено занимать престол св. Петра несколько дольше, чем трем его предшественникам. Папа Орсини был умным и весьма образованным человеком, правда грешившим непотизмом — он тут же принялся раздавать своим родственникам хлебные придворные должности. Для Карла Анжуйского, однако, опасность представляли политические планы папы Николая. Новый глава католической церкви, как и Григорий X, склонялся к укреплению Лионской унии, а значит, был склонен к дальнейшим переговорам с Михаилом VIII. Это крайне тревожило сицилийского короля, часто бывавшего в эти месяцы при папском дворе.
Николай III, в свою очередь, опасался могущества Карла, однажды — эти слова приводит хронист Гийом де Нанжи — заметив по адресу короля Сицилии: «Других мы можем уничтожить, но не его». Именно поэтому папа стремился использовать в качестве противовесов Карлу Анжуйскому как византийцев, так и короля Германии Рудольфа Габсбурга, мечтавшего о коронации императорской короной. С последним, однако, Карлу удалось договориться, полюбовно разрешив спор, возникший между ними по поводу Прованса и его отношений с императорской властью: «Рудольф признал Карла в качестве графа Прованского, но получил от него оммаж за это графство. Королевство Арелат было реорганизовано, видимо без Прованса, и должно было достаться старшему сыну Карла, Карлу Салернскому, которому надлежало владеть им до тех пор, пока Карл Мартелл и Клеменция не достигнут подходящего возраста».
Таким образом, в целом обстановка в конце 1270-х годов, казалось, вновь начала благоприятствовать Карлу. В 1278 году умер Гийом де Виллардуэн, князь Ахейский (Морейский). К тому времени Филиппа, младшего сына Карла I и мужа единственной дочери Гийома — Изабеллы, тоже не было в живых: он скончался годом раньше от какой-то болезни; детей у Филиппа и Изабеллы не было. Таким образом, вступил в силу один из пунктов соглашения, заключенного в Витербо, и Карл стал наследником Гийома, прибавив к своим титулам еще один — князя Морейского. Это усилило его позиции на Балканах.
Король с присущим ему педантизмом занялся переброской войск и необходимых запасов на будущий театр боевых действий. Командующим армией на Балканах был, как уже говорилось, в 1279 году был назначен близкий соратник Карла Гуго де Сюлли. Он намеревался наступать вдоль Via Egnatia (Эгнатиевой дороги), построенной еще римлянами во II веке; она вела от Дураццо через всю южную часть Балканского полуострова к Константинополю. Важной задачей, однако, было взятие города Берата, находившегося в руках византийцев. Он представлял собой «ключ к Via Egnatia и всей Македонии». Учитывая, что значительная часть Греции уже находилась в руках Карла и его союзников, падение Берата открывало дорогу на Константинополь.
На исходе лета 1280 года Сюлли повел на Берат армию, насчитывавшую 2 тысячи рыцарей и около б тысяч пеших воинов. Узнав об этом, Михаил VIII направил в этот район крупное войско, которое возглавили один из лучших византийских полководцев, великий доместик Михаил Тарханиот, и зять императора Михаил Комнин Дука. К началу зимы анжуйцы захватили ряд небольших крепостей в окрестностях Берата и проникли на его окраины, но сам город держался. Карл бомбардировал Сюлли письмами, требуя взять Берат до подхода византийской армии. Сделать этого не удалось, и к началу весны 1281 года войско Тарханиота встало лагерем у реки Осум. По ней греки на плотах стали переправлять провизию и оружие осажденным, что заметно улучшило положение гарнизона. В то же время ввязываться в генеральное сражение византийцы не решались.
Им помог случай. В один из дней, готовясь дать грекам бой, Сюлли с небольшой свитой выехал из лагеря, чтобы лично провести рекогносцировку местности. То ли разведка у «франков» была поставлена не лучшим образом, то ли их командующий повел себя чересчур самонадеянно — как бы то ни было, они подъехали слишком близко к позициям противника. Турецкие наемники на службе византийцев, увидев добычу, ринулись на рыцарей, у которых не было шансов из-за численного перевеса врагов. Большая часть свиты Сюлли погибла, остальные бежали, сам же незадачливый полководец, под которым убили коня, был взят в плен. (Позднее Палеолог в соответствии с римской традицией устроил в Константинополе триумфальное шествие в честь победы при Берате, и Гуго де Сюлли провели в нем в качестве главного трофея.) При известии о пленении их командующего латинян охватила паника, они начали в беспорядке отступать — и, увидев это, Тарханиот повел своих воинов в атаку. Разгром был полный, уцелела лишь небольшая часть анжуйской армии. Со времен битвы при Пелагонии Михаил VIII не одерживал столь решительной победы. План сухопутного наступления на Константинополь, разработанный Карлом I, был сорван. В церквях византийской столицы греки возносили благодарственные молитвы.