五島美術館は、1960年（昭和35年）4月18日に、私立美術館として、東京都世田谷区上野毛に開館した。美術館設立の構想は、東京急行電鉄株式会社の元会長・五島慶太（ごとうけいた　1882－1959）によるものであった。鉄道事業のかたわら、半生をかけて古写経をはじめとする貴重な美術品の数々を蒐集しており、自らの所蔵品を広く公開する美術館の設立を願い、精力的にその準備を進めていたが、開館を目前にして完成した姿を目にすることなく世を去った。

五島美術館の開館に合わせ、東京都目黒区にあった大東急記念文庫が五島美術館の建物内に移転した。同文庫は1948年（昭和23年）に当時の東京急行電鉄株式会社を東京急行電鉄・京浜急行電鉄・京王帝都電鉄・小田急電鉄・東横百貨店の五社に分離・再編成する記念事業として企図され、1949年（昭和24年）4月20日に開庫したものである。

開館後の五島美術館は、大東急記念文庫とともに数々の名品を所蔵する文化施設として展覧会を中心に幅広い活動を展開している。2010年（平成22年）には開館50周年を迎え、これを記念して本館建物を改修した。また平成23年3月1日、五島美術館と大東急記念文庫は合併し、翌24年4月1日からは公益財団法人として認可を受けている。

建物（本館）は、和様空間の案出に秀れた芸術院会員・吉田五十八（よしだいそや 1894－1974）の設計によるものである。王朝貴族の建築様式である寝殿造の意匠を随所に取り入れた建物は、近代建築史における貴重な建造物として注目されている。1961年（昭和36年）には第二回建築業協会賞を受賞。

それから約半世紀を経た2012年（平成24年）、開館当初の姿を可能な限り留めながら館内設備を刷新し、展示室を増設するなど大規模な改修を果たした。敷地は庭園を含めると約6000坪。武蔵野の雑木林が多摩川に向って深く傾斜する庭園には、「大日如来」や「六地蔵」など伊豆や長野の鉄道事業の際に引き取った石仏が点在し、「上野毛のコブシ」（東京都指定天然記念物）やツツジ、枝垂桜など、季節ごとに多彩な花を咲かせている。

所蔵品は、創立者五島慶太が戦前から戦後にかけて蒐集した日本と東洋の古美術品（明治期以前）をもとに構成されている。鉄道事業の関係から関西へ行くことが多く、繁忙な仕事の合間に古都奈良の古代文化の香りに次第に引き込まれ、のちに「日本一」とみずから誇る古写経コレクションを築きつつ、次第に僧侶の書（墨跡）など中世の美術へと手を広げ、やがて茶の道へと足を踏み入れていった。

さらに美術館の設立計画が具体化すると、国宝「源氏物語絵巻」をはじめとする髙梨仁三郎（たかなしにさぶろう）氏のコレクション、および守屋孝蔵（もりやこうぞう）氏の古鏡コレクションが一括購入され、1960年（昭和35年）、これらの蒐集品を中核として、五島美術館は開館を迎えた。

開館後も、福井貞憲（ふくいさだのり）氏旧蔵の刀剣や、五島家旧蔵の近代日本画、宇野雪村（うのせっそん）氏旧蔵の文房具類など貴重なコレクションの寄贈を受け、現在の所蔵品総数は国宝５件、重要文化財50件を含む約5000件にのぼる。

大東急記念文庫の所蔵品は、五島慶太が一括購入した「久原文庫」と「井上文庫」を中心としている。「久原文庫」は、国書、漢籍、仏書、古文書・芸術資料の幅広い分野にわたる資料を約2万点収蔵。「井上文庫」は、懐紙、書帖、短冊等の歌学資料で、本居宣長、香川景樹等、主に国学者の作品約80点。これらに随時購入した貴重書を併せ、総数は国宝3点、重要文化財32点を含む約2万5千点。日本有数の特殊文庫の一として、国文学、国語学、歴史学、美術史学、仏教学をはじめ、国内外のさまざまな分野の研究者に広く利用されている。