Основная часть коллекции была собрана усилиями Владимира Григорьевича Орлова-Давыдова, младшего из братьев Орловых, и связана с усадьбой «Отрада» (ныне в Ступинском районе Московской области). Это был комплекс предметов, характерный для русской аристократической усадьбы: собрание живописи и графики, мебель, скульптура, предметы старины и прикладного искусства, библиотека на русском и европейских языках, семейный архив.

Коллекцию активно пополнял внук основателя усадьбы В.П.Орлов-Давыдов. Им было приобретено наиболее значительное произведение в собрании живописи — «Христос со сложенными руками» Рембрандта.

Последним владельцем являлся Александр Анатольевич Орлов-Давыдов (по другим сведениям, его брат Анатолий Анатольевич). Собрание было национализировано в 1917. В московские музеи было вывезено 68 опломбированных ящиков, остальная часть коллекции, оставшаяся в имении, составила фонды созданного в Отраде музея. Он был ликвидирован в середине 1925, и оставшиеся экспонаты распределили по московским хранилищам.

В «Книге поступлений в РМ» 1917—1923 сохранилась запись о 31 работе из собраний Харитоненко и Орлова-Давыдова, поступивших с выставки барбизонцев.