Отделение изящных искусств Румянцевского музея, в состав которого входила Картинная галерея, было самым молодым отделом музея и появилось только в Москве. Небольшое мемориальное собрание графов Румянцевых нельзя назвать ни зародышем будущего художественного музея, ни его полноценным предшественником. Это была коллекция семейных раритетов, запечатлевших государственных деятелей из семьи Румянцевых.
С июня 1861 г. началось создание музея в его московском варианте. Руководил всей работой попечитель Московского учебного округа генерал-адъютант Николай Владимирович Исаков. В Московском учебном округе самым крупным, богатым и деятельным учреждением был Московский университет. Естественно, наиболее тяжёлая, невидная организационная работа и всё текущее финансирование были поручены университету. А финансовое положение проекта было сложным. Перевоз коллекций и ремонт Пашкова дома должны были осуществляться на средства от продажи домов Румянцевых в Санкт-Петербурге. Если бы Исаков начал с продажи домов, то средств на музей не было бы до 1864 г. Взяв взаймы у университета требующиеся средства, Исаков купил здание на Покровке для переселения 4-й гимназии, которая до лета 1861 г. занимала Пашков дом, отремонтировал освободившийся особняк и перевёз в него коллекции и библиотеку Румянцевых. Чтобы хоть немного сэкономить средства университета, Исаков привлекал благотворителей, облагал небольшим налогом подписчиков газеты «Московские ведомости», использовал средства округа. Многие из единомыutшленников и соратников Исакова трудились почти безвозмездно. Несмотря на это, университет потратил на создание музея свыше 45 тысяч рублей. Благодаря получению процентов с завещанного музею капитала Румянцевых и продаже домов в Санкт-Петербурге задолженность университету была погашена в результате трёх выплат в 1863 и 1864 гг.
Помимо Московского университета у Исакова был ещё один «спонсор» в деле создания музея, менее богатый и авторитетный, чем университет, но незаменимый и уникальный именно потому, что речь шла о создании музея. Речь идёт о Московском обществе любителей художеств (МОЛХ). В начале 1861 года МОЛХ существовало только на бумаге, у него не было ни средств, ни помещений, необходимых для начала выставочной деятельности. Зато у МОЛХ был прекрасно написанный устав, содержащий такой «программный» пункт, как установка на создание в Москве картинной галереи.
Встреча Исакова с деятелями только что возникшего МОЛХ была «подарком судьбы» для нового московского музея. Исаков понимал, что Румянцевский музей в Москве не должен копировать знаменитый, но нежизнеспособный столичный, петербургский Румянцевский музей. Тот прежний музей был обречён не только из-за сырых стен и давно не мытых окон. Музей не был привлекательным для обывателя любого уровня. Музей нуждался в новом отделе, который был бы одинаково интересен и нужен и простолюдину и профессору, и таким отделом стала Картинная галерея. Именно она своей доступностью могла уравновесить элитарную обособленность других научных отделов.
Исаков стал помогать МОЛХ. Для первых трёх выставок благодаря поддержке попечителя были использованы пустующие помещения в старом здании университета. Четвёртая выставка открылась уже не в университете, а в свежеотремонтированном Пашкове доме в ноябре 1861 года. Почти за полгода до открытия первой музейной экспозиции дворец в Старом Ваганькове стал для Москвы «Храмом искусства». Две картины из числа выставленных МОЛХ позднее вошли в собрание Румянцевского музея.
Первая из них — «Римский монах» немецкого художника Людвига Кнауса, принадлежавшая одному из активных членов МОЛХ О.И. Левенштейну. В 1863 г. после смерти Левенштейна его вдова пожертвовала работу Л. Кнауса в Румянцевский музей.
Путь в музей автопортрета австрийского художника М.Ф. Квадаля, экспонировавшегося на той же выставке, длился до 1900 года. Экспонентом этой работы был Н.С. Мосолов, гравёр, коллекционер произведений живописи и графики, действительный член Императорской академии художеств, работавший в Румянцевском музее. Н.С. Мосолов впоследствии продал работу М.Ф. Квадаля Д.И. Щукину, который подарил её музею. Ныне оба произведения находятся в ГМИИ.
Но самые главные для будущего музея события происходили на другой выставке. Благодаря тому же Н.В. Исакову в марте 1861 г. МОЛХ получило возможность устроить выставку картины А.А. Иванова «Явление Христа народу». Картина была привезена из столицы и установлена в актовом зале 1-й гимназии напротив храма Христа Спасителя. Успех выставки превзошёл все ожидания. МОЛХ получило от этой выставки 3664 рублей дохода и приобрело известность и финансовую независимость. Москва оказала творению А.А. Иванова настолько тёплый приём, что император Александр II принял решение не возвращать картину в Санкт-Петербург, а подарить её будущему Московскому музею. «Московские ведомости» сообщили об этом 2 августа 1861 года. Вскоре стало известно, что для Картинной галереи Румянцевского музея будут выделены картины из Императорского Эрмитажа. До открытия музея оставалось ещё 9 месяцев, но теперь он номинально имел картинную галерею, и главный её экспонат — картина А.А. Иванова — уже находился в Москве.
После окончательного открытия Румянцевского музея в январе 1863 года МОЛХ устроило для москвичей выставку картин русских художников, побывавших летом 1862 года на Всемирной выставке в Лондоне. Экспонентами выставки были известные художники Айвазовский, Лагорио, И.И. Реймерс, А.И. Корзухин и коллекционеры — члены императорской семьи, П.М. Третьяков, К.Т. Солдатёнков, Н.А. Кушелёв-Безбородко, Ф.И. Прянишников, которому принадлежали 9 из 56 участвовавших в Лондонской выставке картин. Благодаря выставке московский зритель впервые познакомился с вещами из «Прянишниковской галереи», которая была куплена для Музея Александром II и полностью вошла в его состав в 1867 г.
Но вернёмся в Пашков дом. Выставки МОЛХ проходили в нём до осени 1862 г., и когда была подготовлена к открытию первая музейная экспозиция, по соседству с ней уже работала выставка МОЛХ, открывшаяся 25 марта 1862 г.
В первый раз Московский Румянцевский музей был открыт в День Ангела своего основателя Н.П. Румянцева — в Николин день 9 мая 1862 г. Экспозиция была небольшой. Музей знакомил москвичей с мемориальным собранием Румянцевых и с коллекциями — археологическими, нумизматическими, этнографическими и минералогическими. Центральным экспонатом была статуя работы Кановы.
Вход в музей был свободным, и до конца мая в нём побывало 45 тысяч зрителей. После этого музей закрылся до 23 июня. Примерно тогда же было утверждено «Положение о музее», на котором император собственноручно написал: «в виде опыта на три года». Между тем книги и рукописи Румянцева всё ещё оставались нераспакованными.
Интерес Александра II к московскому музею проявился и в том, что 24 августа 1862 состоялось первое высочайшее посещение музея. Вторая летняя музейная экспозиция была подробно описана архитектором Московского учебного округа Н.В. Дмитриевым, руководившим не только недавно закончившимся ремонтом Пашкова дома, но и размещением музея в залах главного здания и его флигеля. К тому времени картина А.А. Иванова уже находилась в музейной экспозиции, тогда как в мае её ещё не было. По-видимому, с появлением этого столь интересного для московского зрителя экспоната связано и начало работы музея в платном режиме, что было в России, кажется, впервые.
Статья Дмитриева содержит сведения и о втором по порядку поступления экспонате — подарке княгини Н.С. Голицыной. Поскольку картинная галерея для московского музея летом 1862 г. ещё только «составлялась» в кладовых Эрмитажа, то подарок княгини разместили в залах, где проходила выставка МОЛХ. Это была старинная копия с Гвидо Рени (или, возможно, авторское повторение картины великого итальянца) на сюжет «Саломея с головою Иоанна Крестителя». Картина эта, судя по каталогам, всегда входила в экспозицию. После расформирования музея в 1926 г. картина попала в ЦХ ГМФ, оттуда в 1928 г. была передана в Госфондовую комиссию... О дальнейшей судьбе «Саломеи» достоверных сведений нет.
Летняя музейная экспозиция была открыта до конца сентября, а затем началась подготовка к приёму картин из Эрмитажа. Примерно в начале ноября секретарь МОЛХ К.К.Гёрц привёз две сотни картин из Эрмитажа и в их числе — две картины Айвазовского, подаренные музею Н.А.Мухановым: «Вид Петербурга» (современное местонахождение не установлено) и «Вид Константинополя. Леандрова башня». Выставка МОЛХ также покинула Пашков дом, и все его помещения стали подготавливать к открытию музея и библиотеки. 15 декабря, когда музей был ещё закрыт для посетителей, состоялось второе высочайшее посещение музея. На этот раз император прибыл с семьёй, осмотр экспозиции продолжался более двух часов. 2 января открылась «зала для чтения», а на следующий день — музейная экспозиция.