本校は、1875（明治8）年に楽善会（らくぜんかい）が組織されたのを発祥とします。
山尾庸三（1837～1917）は、イギリスの造船所で耳の不自由な人が熟練工として立派に働いているのを見て、教育の効果を認め、盲学・唖学の二校を創建する建白書を提出することになったとされています。
山尾庸三らの訓盲所設立のことをお聞きになった明治天皇から1876（明治9）年に三千円のご下をいただくことになりました。ご下賜金を受けたことで楽善会（らくぜんかい）の事業の基礎が確立することになりました。
点字翻訳者として有名な石川倉次（1858～1945）は、聾児のための多くの教材を作成しています。指導実践をもとにまとめられた文法事項や発音の指導順序を記載した教材（「国語教順」等）は、現代の指導にもつながるものです。
1880（明治13）年2月に盲児2名、6月には聾児2名が入学しました。東京築地の当時の建物は、93坪余の総レンガ石造でした。校舎の建築にあたっても、盲聾者への教育のためにと有志から多大な寄付がありました。その後、1891（明治24）年には東京小石川区指ヶ谷（現東京都文京区白山）に移転しました。