Идея создания государственного музея национального искусства появилась в середине XIX века. Существует легенда, которая связывает решение Александра III о создании первого публичного музея национального искусства, с картиной И.Репина «Николай Мирликийский избавляет от смерти трех невинно осужденных», которую император приобрел на 17-ой выставке Товарищества Передвижников в 1889 году.

Тогда-то, у государя и возникла мысль-основать всенародный музей, в котором были ба собраны все лучшие произведения искусства.
Кроме того, новый столичный музей мог бы активно действовать и в сфере исторической, и в сфере современного художественного процесса.

Для Русского Музея императора Александра III, нашлось подходящее здание-Михайловский дворец, построенный в 20-е годы XIX века по проекту К.И.Росси для Великого князя Михаила Павловича-сына императора Павла.

Осуществил идею своего отца о создании музея император Николай II, который подписал 13 апреля 1895 года Именной Высочайший Указ № 62 "Об учреждении особого установления под названием „Русского Музея Императора Александра III“ и о представлении для сей цели приобретенного в казну Михайловского дворца со всеми принадлежащими к нему флигелями, службами и садом".

В мае 1895 года была организована «Комиссия по надзору за ремонтом и приспособлением Михайловского дворца для помещения Русского Музея Императора Александра III» под руководством архитектора В.Ф.Свиньина и началась перестройка дворцовых помещений под нужды нового музея.
С первых дней своего существования музей находился в ведении Министерства Императорского Двора, а Управляющим музеем мог стать только член Императорского Дома. Первым Высочайшим Управляющим был Великий князь Георгий Михайлович.

Первоначально экспозиция Музея размещалась в 37-и залах. Первых посетителей встречал «Музей христианских древностей», занимавший четыре зала. Здесь экспонировались: «Плащаница» В.Васнецова, произведения русской живописи и скульптуры, а также с коллекции частных собирателей, переданные в дар музею (коллекция акварелей княгини М.Тенишевой и коллекция живописи и гравюр князя В.Лобанова-Ростовского).
В собрание музея, вошли предметы и произведения искусства, переданные из Императорских дворцов, из Эрмитажа и Академии художеств, на начальном этапе насчитывалось 1880 произведений.

Новый музей имел три отдела: отдел «посвященный специально памяти Императора Александра III», этнографический и художественно-промышленный отдел, а так же художественный отдел. Последний отдел «Художественный» имел приоритетное положение, сюда должны были поступать собрания картин и скульптуры лучших российских мастеров.

Коллекция музея постоянно пополнялась посредством покупки произведений на ассигнованные с этой целью средства и благодаря возможным пожертвованиям. Постепенно разрозненное собрание было преобразовано систематизированную и постоянно пополняющуюся коллекцию.

Музейное собрание постоянно пополняется и в настоящее время. Ценные коллекции и отдельные произведения русского изобразительного искусства передают в дар коллекционеры, авторы и их наследники. Произведения искусства музей так же приобретает на международном антикварном рынке, так, например, на аукционах "Кристи" и "Сотби" были куплены рисунки И.Е.Репина и Б.Д.Григорьева.

К 2005 году собрание Русского музея составило 394 158 единиц хранения. В это число входят произведения живописи, графики, скульптуры, нумизматики, декоративно-прикладного и народного искусства, а также архивные материалы.