Sbírka vznikala z jednotlivých darů až během poslední čtvrtiny 19. století. Základem sbírky se stala kolekce 600 broušených kusů, kterou Národnímu muzeu odkázal nadšený sběratel nerostů lékař dr. Vojtěch Wraný. Z tohoto odkazu pochází například náš největší olivín z Kozákova s inventárním číslem P1D168, pravidelný čtvercový brilantový výbrus (16,7 × 16,7 mm) o hmotnosti 15,67 ct, jasně žluté ortoklasy z Madagaskaru v podobě obdélníkového stupňovce (P1D578; 26,5 × 22,7 mm; 50,43 ct) a osmibokého brilantu (P1D579, 10,01 × 9,6 mm, 2,55 ct), nebo žlutozelený chryzoberyl ze Srí Lanky v brusu čtvercového brilantu (P1D72; 18,8 × 17,4 mm; 27,80 ct).

Gymnazijní profesor Vilém Vařečka z Písku věnoval Národnímu muzeu broušené nerosty z píseckých pegmatitů, z nichž mnohé jsou unikátní, například tzv. zlatý beryl s číslem P1D80, vybroušený do tuporohého a oválného brilantu, s rozměry 17 × 14,5 mm; 18,55 ct. Díky hojným stykům prof. Vrby s významnými mineralogy a sběrateli z celého světa a díky některým dalším dárcům (Alois Oliva, Karel Rummel a jiní) sbírka rychle narůstala. Po Vrbově smrti převzala správu všech sbírek Ludmila Slavíková, která je vedla do roku 1939.

Značně se sbírka rozrostla po 2. světové válce, kdy došlo ke konfiskacím majetku. Konfiskace vedly mimo jiné k obohacení podsbírky o 2 nažloutlé diamanty z Kimberley (P1D3512; 24,08 ct a menší 11,95 ct), které jsou dodnes největšími diamanty v podsbírce. V 50. a 60. letech obdrželo Národní muzeum darem několik větších kolekcí, například od Státní památkové správy v Praze (unikátní odrůdy křemene – ametysty, křišťály, záhnědy, citríny, ale i drahé opály, akvamaríny a kolekci syntetických broušených kamenů. Dále v této době byla sbírka obohacena o kolekci unikátních ametystů, záhněd a akvamarínů z Murzinky na Urale, tyrkysy a o asterický rubín.

V 70. a 80. letech došlo k několika rozměrově unikátním nákupům vysoce kvalitních broušených kamenů. Za zmínku stojí sytě zelený beryl s inventárním číslem P1D3531 vybroušený do tuporohého obdélníkového stupňovce o hmotnosti 424,64 ct, nebo sytě fialovomodrý safír (P1D4184; 13,6 × 12,8 mm; 13,86 ct) s kombinovaným brusem (zvaný cejlonský) s dobře viditelnými inkluzemi rutilu a zirkonů obklopených halo jevem. Tato doba až do roku 1991 byla úzce spjata s RNDr. Jiřím Kouřimským CSc, který má nemalou zásluhu o její vědecké zpracování a popularizaci.

V roce 1991 převzala podsbírku pod správu Mgr. Petra Burdová, která se zasloužila o vybudování stálé moderní expozice trezorového charakteru pod názvem Kabinet drahých kamenů, který mohla veřejnost obdivovat do roku 2010. V tomto období patří k největším dárcům pan Svatopluk Prchlík, který mimo jiné obohatil sbírku citrínem z Madagaskaru vybroušeným do netradičního bohatě fasetovaného brusu – květu jiřiny (P1D4913; 37,4 × 37,92 mm; 197,47 ct). V roce 2016 byly odkoupeny od pana Vladislava Urbana mimořádně čisté broušené záhnědy a křišťály z kraje Vysočina. Reprezentující kus z tohoto nákupu je vysoký kouřově hnědý roháček, stupňovec s šachovým členěním vršku, bez kazů (P1D4919; 73 × 67 mm; 1325 ct).

Od roku 2016 spravuje podsbírku Mgr. Lukáš Zahradníček F.G.G. s posláním vykonat systematickou inventarizaci a fotograficky detailně zdokumentovat podsbírku. Součástí inventarizace bude certifikace nejvzácnějších a nejcennějších kusů podsbírky. Ke dni 6. 9 2018 má podsbírka 4 922 inventárních čísel, což reprezentuje přibližně 9.000 jednotlivých kusů a je tak nejen největší sbírkou svého druhu v České republice, ale i jednou z nejpočetnějších sbírek v Evropě.