Kun få meter sør for Roman Forum ligger restene av det ærverdige biblioteket til Hadrian. Keiser Hadrian ville ikke være dårligere enn sine forgjengere. I løpet av årene 134-132 AD reiste han et praktbygg vegg i vegg med keiser Augustus sitt Roman Forum. Over tyve romerske boliger som allerede sto på stedet ble revet for å gi plass til det nye biblioteket. I romertiden ble Hadrian’s bibliotek ansett som det største biblioteket, og en av de viktigste bygningene i Athen. Den flotte søylefasaden mot vest, og de høye murene ble bygget for å imponere.
Det var kun en inngang til området, fra vestsiden. Inngangspartiet besto av fire korintiske søyler i rosa marmor. Resten av den vestlige fasaden var utsmykket med 14 søyler av grønn cippolinostein. På toppen av den lange søylerekka var det plassert gudestatuer i hvit marmor.
Innenfor murene lå en stor hage med et 60 meter avlangt og smalt basseng. Området var formet som et rektangel, 119 meter i lengde, og 89 meter i bredde. Bassenget var sentralt plassert midt på den store plassen. Rundt bassenget var det etablert et hageanlegg som var utsmykket med benker, beplantning og statuer. I motsetning til det travle handleområdet i Roman Forum skulle Hadrian’s bibliotek være en rolig oase i det travle bybildet.
Vendt inn mot gårdsplassen på nord-, øst- og sørsiden sto hundre marmorsøyler. Mellom ytterveggene og marmorsøylene var det bygget et heldekkende tak med helling mot sentrum av gårdsplassen. I den lange vandrehallen var det mulighet for meditasjon og filosofiske diskusjoner. I bakkant av søylegang lå det flere adskilte rom.
I den østlige delen av bygningen lå ei lang rekke med rom. Det største og mest sentrale rommet var selve biblioteket. Litteraturen, som dengang ikke besto av bøker, men papyrusruller var plassert i nisjer bygget i to høyder inn i veggen. Her oppbevarte athenerne både viktige litterære verker og offentlige dokumenter. Hver nisje var dekket av ei tredør. Sentralt plassert i biblioteket sto en stor statue av keiseren selv, Hadrian.
I begge hjørnene på bibloteksiden av bygget var det undervisningslokaler, såkalte auditorium. Rommene var utformet som amfiteater der både seter og vegger var kledd med hvit marmor.
På de to langsidene var det flere halvsirkelformede åpne rektangulære rom som fungerte som forelesningslokaler og lesesaler. Ankomsten til disse lokalene gikk gjennom flotte søyleganger av marmor. I antikken var biblioteket ikke bare et «stillerom» med lesesal, men fungerte som et sted for læring og oppbevaring av betydningsfulle papirer. Flere filosofiskoler etablerte seg i biblioteket, her var det mulig å høre foredrag og taler eller diskutere filosofiske problemstillinger med likesinnede, både innendørs eller ute i det flotte parkanlegget.
Heller ikke Hadrian’s bibliotek slapp unna Herulienes herjinger i Athen på midten av 200-tallet AD. Området ble lagt i ruiner, men delvis gjenreist av Herculius på begynnelsen av 400-tallet. I bysantinsk tid ble tre kirker bygget på området. Deler av disse kirkebyggene er fortsatt synlige inne på området.
Da tyrkerne tok over kontrollen i Athen, ble området igjen tatt i bruk som et administrativt sentrum. Hadrian’s bibliotek har senere både huset basarer, moskeer, klokketårn og militært anlegg med brakker, fengsel og fort. Utgravinger inne på området startet opp seint på 1800-tallet, men det var først i andre halvdel av 1900-tallet at nyere byggverk ble fjernet fra området. Myndighetene har fortsatt mål om å restaurere deler av biblioteket.