В начале ХХ века на территории нынешнего города располагались деревни Силламяэ, Тюрсамяэ, Каннука, жители которых имели возможность пользоваться библиотекой Вайвараского волостного Общества трезвости «Külvaja» и Вайвараской школы.
Первые сведения о библиотеке Силламяэ относятся к 1943 году. Эта библиотека погибла в огне мировой войны.
Вся послевоенная история Силламяэ связана со строительством секретного предприятия. Нынешняя городская библиотека ведет свою историю с 1947 года, когда при строящемся комбинате основали библиотеку.
В независимой Эстонии библиотека получила толчок к развитию на основании закона Эстонской Республики «О народных библиотеках», который обеспечивает политическую независимость и финансовую поддержку библиотек.
В разные годы библиотека располагалась в городе по трем адресам: Центральная библиотека, Филиал библиотеки и Детская библиотека. В настоящее время библиотека располагается по двум адресам: Виру 26 и Харидусе 21.
Современная библиотека оснащена технически, имеет доступ в Интернет, электронный каталог своих фондов, имеет свой сайт и сайт краеведения.