미국에서 가장 전통 깊은 세계적인 명성을 지닌 교향악단이다. 1842년 우렐리 힐(Ureli Hill)이 이끌던 필하모닉 소사이어티(Philharmonic Society)를 모체로 1921년 내셔널 교향악단, 1923년 시티 심포니(City Symphony), 1928년 심포니 소사이어티(Symphpny Society)를 흡수 통합하여 설립되었다.

1881년 표트르 차이콥스키(Pyotr Tchaikovsky)의 피아노협주곡 제2번, 1893년 안토닌 드보르자크의 교향곡 제9번 <신세계>, 1909년 세르게이 라흐마니노프(Sergei Rakhmaninov)의 피아노협주곡 제3번, 조지 거슈윈(George Gershwin)의 피아노협주곡 등을 초연하면서 근대음악과 전위음악 연주의 최고봉을 차지하였다.

안톤 자이들(Anton Seidl), 월터 담로쉬(Walter Damrosch), 구스타프 말러(Gustav Mahler), 빌럼 멩엘베르흐(Willem Mengelberg), 아르투로 토스카니니(Arturo Toscanini), 아르투르 로진스키(Artur Rodzinski), 브루노 발터(Bruno Walter), 레오폴드 스토코프스키(Leopold Stokowski) 등 거장들이 이 악단을 거쳐갔으며 유럽·소련·아시아 등지에서 여러 차례 순회연주를 하였다.

1958년부터 10여 년간 레너드 번스타인(Leonard Bernstein)이 상임지휘자로 재임하여 최고의 전성기를 누리면서, 헤르베르트 폰 카라얀(Herbert von Karajan)이 지휘하던 독일의 베를린필하모니관현악단과 쌍벽을 이루었다. 그 당시 뉴욕필하모닉오케스트라에서 현재의 명칭으로 바뀌었다.

1971년부터 피에르 불레즈(Pierre Boulez)가, 1978년부터는 주빈 메타(Zubin Mehta)가 음악 감독을 맡았으며, 1991년부터는 쿠르트 마주어(Kurt Masur)가 음악감독으로 있다. 1993년에는 창립 150주년을 맞아 36명의 작곡가에게 작품을 의뢰하여 유럽 순회 연주를 개최하였고, 같은 해 한국에서도 공연하여 절찬을 받았다. 2008년 2월 북한 평양에서도 공연했다.