İlk variantı XIII əsrdə hazırlanıb. Qrafitin (qələmin içində olan qara hissə) taxtanın arasına qoyulmasını fransız kimyagəri Nikola Konte təklif edib. Əslində bu qrafiti qənaət ilə sərf etmək üçün hazırlanmışdı. Ancaq sonra fikir verildi ki, bu üsulla hazırlanan qələmlər daha yaxşı yazır.

Barroudeyl gölü ətrafında qoyunlarını otaran çobanlar fikir verirlər ki, qoyunların dəriləri yerli qayalara sürtünəndə qaralır . Bu barədə yerli alimlərə bildirəndə, onlar düşünüblər ki, Borroudeyldə üzə "qara daş" yataqları çıxır. Yerli əhali tezliklə burada yazı üçün müxtəlif ləvazimatlar hazırlamağa başlayır, adını isə "qara daş" qoyurlar. Türkcə("qara" və "taş" sözlərindən "karandaş2 adı alınır.)

İlk karandaşlar barədə yazılar 1565-ci ilin minerallar barədə yazılan traktatında olub. Deməli qrafitin yataqlarını tapıblar, formalara salıblar, sonra uzun-uzun doğrayıb, ağacdan hazırlanmış boruların içinə salıblar.

Fərz etmək olar ki, indiki karandaşların və qələmlərin ən qədim forması kömür olub və onun köməkliyi ilə qayaların üzərində cürbəcür şəkillər çəkiblər(hələ yazı olmayanda belə). Qədim Assiriyada sterjenlerdən istifadə ediblər, Romada və Yunanstanda isə-"stiloslardan"-ucu iti çubuqlardan. Orta əsrlərdə, insanlar bir şeyi işarələmək üçün güllə və gümüş çubuqcuqları istifadə edirdilər. Ancaq bu üsul şəkil etmək üçün qətiliklə uyğun deyildi.

15.əsr'də, günümüz karandaşın ilk addımları atıldı. İtaliyada güllə və qalaydan meydana gəlmiş bir növ qarışıq yaradıldı. Bu qarışıq qələmə güllə qatırdı.

1658-ci ildə İngiltərədə qrafit mədənləri tapıldı. Bu material kiçik çubuqcuqlara kəsilərək, taxtaya yerləşdirilmiş. Bu əməliyyat bütün sənətçilər üçün bir inqilabdır. Ancaq yaradılan bu karandaş, çətin hazırlanma müddəti səbəbiylə olduqca bahalıya düşürdü və hər kəs götürə bilmirdi.

Karandaşın meydana gəlməsinə əsl dəstək Josef Hardtmuth'dan gəldi. Josef, 20 fevral 1752-ci ildə, Avstriyada bir masa prodüserinin oğulu olaraq dünyaya gəldi. Vyanada əmisinin peşəsni olan divarçılığı öyrənib, bu sahədə qısa müddətdə müvəffəqiyyətli işlər çıxarmağa başladı.

Ancaq içindəki yaradıcılıq və ehtiras onu rahat buraxmadı. Memarlıq və çörəkçilik qabiliyyətini istifadə edərək kirəmit istehsalına və qab istehsalı yəni farfor işinə başladı. Ancaq bu işləri etmək üçün əvvəl şəkillərə ehtiyacı olduğundan və şəkil etmək üçün də istifadə edilən vəsaitlər olduqca pis olduğundan ötəri, bu ehtiyac möcüzə bir fikrin sahibi olmasını təmin etdi. Qrafit tozuna bir az daha gil qatdı, bir növ mədənə çevirib qarşımı yandırdı. Ardından yandırılan qarışığı bal mumuna batırdı, beləcə yarpaq üzərində şəkil quruluşun tərəfindən izləri asanca orada qaldı.

1790-cı ildə Josef Hardtmuth, dulusçuluq mədənini tapdı. Beləcə müxtəlif miqdarda gil əlavə olunmasıyla karandaşların sərtlik nisbətləri təyin oluna bilməyə başladı. 1792-ci ildə Viyanada KOH-I-NOOR Hardtmuth firmasını açdı. Nəvəsi Friedrich daha sonra 1889-cu ildə işləri inkişaf etdirib, karandaşları 17 sərtlik dərəcəsinə görə təsnif edərək çıxarmağa başladı.

Karandaşın bugünkü təsvirini şəklini fransız kimyaçı vermişdir. Gil və qrafit qarışığını yandırıb taxtadan silindr çubuqlar içinə qoyan Conte 1795-ci ildə patentini götürmüşdür. İlk karandaş fabrikini isə 1861-ci ildə , Nyu-Yorkda qurmuşdur.