Esimene eestikeelne laenuraamatukogu Kadrinas asutati 1897. aastal vennaste koguduse palvemajas. Maja asus praeguse Pargi tänava ja Viru tänava ristmikust loode poole jäävate suurte puude all, nn palvemaja käänul. Raamatukogu asutajaks oli Õde Pauline Johanna Heinrichson ning kogu koosnes vaimuliku sisuga raamatutest. Alguses oli kogus 143 raamatut ja laenutamise tasu oli raamatu paksuse järgi 3–5 kopikat.
Kui Hariduse Selts avas 1912. aastal koolimajas oma kaasaegsema raamatukogu, hääbus palvemaja kogu kiiresti. Pärast vennastekoguduse keelustamist 1948 võeti palvemaja riigi valdusse ning sinna paigutati tarbijate kooperatiivi ladu. Hoone otsas olevas väikeses korteris elas järjepanu ka paar perekonda. Varsti aga jäi maja tühjaks ning 1956. aastal see lammutati.
1930. aasta lõpus sai raamatukogu uueks asupaigaks vastvalminud rahvamaja – algul teisel korrusel väikeses toas, seejärel esimesel korrusel maja lõunapoolses otsas, siis taas teisel korrusel. Pärast II ilmasõda asus raamatukogu mõnda aega Viru tn 11, endises Lillimägide apteegimajas, kuid 1951 koliti tagasi rahvamaja teisele korrusele. Tasapisi ka laieneti ning lõpuks kasutati juba kuut ruumi. Raamatute säilitamistingimused rahvamajas olid väga halvad: ruumid olid pimedad, lagi tilkus läbi, riiulite jalad kõdunesid, kuid lugejaid jätkus kõigest hoolimata.
Oma tänasesse asukohta jõudis Kadrina raamatukogu eelmise sajandi lõpus. Hoone valmis 1974 ning selle esimesel korrusel asus külanõukogu, teisel telefonikeskjaam. Pärast Eesti taasiseseisvumist ja valla moodustamist jäid ruumid valla-aparaadile kitsaks. Tühjaks jäänud maja esimene korrus remonditi ja kohandati raamatukogu jaoks. Uus, avar ja hubane kultuurivaramu avati ametlikult 7. aprillil 1997, kiviviske kaugusel Kadrina esimese raamatukogu kunagisest asukohast.