На дороге из города Кролевца в Рыхловский монастырь немного вправо от дороги, взор каждого встречает село Вишеньки, живописно раскинутое в виде амфитеатра на крутом берегу реки Десны и принадлежащее князю Долгорукову. В царствование Екатерины II Вишеньки принадлежали знаменитому фельдмаршалу графу Петру Александровичу Румянцеву, виновнику славы русского оружия в войнах с турками.

Управляя Малороссией, граф П. А. Румянцев, в свободное время от государственных дел, отдыхал в своих Вишеньках, в дворце им построенном. Дворец этот уцелел и поныне, только в полуразрушенном состоянии. Из 24-х башен остались только девять, половина отрады, окружавшей дворец, и полуразрушенный флигель. Дворец выстроен над самой Десной и виден за несколько верст по кролевецкой дороге. Все здание построено в византийском вкусе, и замечательно по своей необыкновенной архитектуре.

В 1787 году, когда Екатерина II предприняла путешествие в Крым, она удостоила посетить в селе Вишеньки доблестного Румянцева. Сопровождаемая губернским предводителем дворянства Фёдором Ширяем, Петром Милорадовичем, Андреем Гудовичем, Яковом Маркевичем, Кочубеем, Ханенком, Судиенком и другими лицами кролевецкого и новгород-северского уездов, Государыня поехала 17-го мая в 7 часов вечера в Вишеньки, и остановилась во дворце графа П. А. Румянцева. Более ста экипажей быстро катились за каретой Государыни; около 600 лошадей приготовлялось на каждой станций. В Рыкове, г. Судиенко выстроил дворец, и угостил в нем Императрицу, целые леса горели для освещения пути её. Бесчисленные толпы народа стекались из дальних мест, чтоб видеть обожаемую Государыню. На руках снесли экипаж её с мезенской горы. При переправе, близь села Мезеня, через Десну, граф Петр Васильевич Завадовский выстроил мост, иллюминованный при проезде по нем Императрицы. Прибыв в Вишеньки и успокоившись от дороги, Екатерина в десять часов села за стол со свитой, сопровождавшей её. Огромная зала дворца Румянцева едва вмещала посетителей; стол исполнен быль изобилием яств, и малороссийский борщ, искусно приготовленный, очень понравился Императрице. За столом она была необыкновенно весела, хвалила дворец, покои и вкус Румянцева во всем. «Ну, граф Петр Александрович!» сказала она, «если-б не дела, требующие присутствия моего в Крыму, я бы у вас гостила целый месяц». На следующий день Екатерина, осмотрев внешний вид дворца, гуляла во саду, расспрашивала у Румянцева о делах Малороссии, каталась по Десне с своей свитой в лодках, украшенных резьбой и накрытым павильонами из пунцовой тафты, при звукам хора певчих и музыки. Возвратясь с катанья, Государыня осмотрела ветхую церковь и пожаловала 8000 рублей ассигнациями на построение новой, которая и выстроена недалеко от дворца. Отобедав в два часа, Екатерина оставила Вишеньки и, при криках: «ура! да здравствует Императрица!» поехала в Чернигов. До сих пор в самом главном строении дворца Румянцева существует та огромная зала, в которой Императрица ужинала 17-го и обедала 18-го мая; в ней все сохранилось в таком вид, в каком оно было при посещении Императрицей. Здесь стоит и до сих пор стол, за которым обедала она. Стол этот покрыт скатертью голландской работы, пожелтившей от времени. Пред столом стоить великолепное кресло, сделанное под черное дерево и украшенное золотой резьбой. Бронзовая скамейка, служившая опорой для ног Императрицы, состоит из двух львов, держащих в пастях бархатную подушку; на столе находятся шесть тарелок, чистого серебра под чернью, с которых изволила кушать незабвенная Екатерина; возле этих тарелок лежит золотая ложка, имеющая форму употребляемых в Малороссии простолюдинами деревянных ложек, а также нож и вилка английской работы с слоновыми рукоятками.