Ikääntyvä ja alakuloinen Vincenzo (Sergio Castellitto) on omistanut koko elämänsä pienelle kirjakaupalleen sekä tyttärelleen Albertinelle (Matilda De Angelis), joka on asunut isänsä luona parin vuoden takaisesta tuhoisasta onnettomuudestaan asti.
Eräänä päivänä Vincenzon kirjakauppaan ilmestyy Yolande (Bérénice Bejo), nuori kujeileva kaunotar, joka tiukkuu elämää ja intohimoa. Kauppias hurmaantuu elämännälkäisestä naisesta, ja Vincenzossa viriää tunteita, joiden hän uskoi jo karanneen hänenlaisensa vanhemman miehen ulottumattomiin. Vincenzo huomaa kysyvänsä itseltään, miten haluaa elää jäljellä olevan aikansa.
Pieni kirjakauppa Pariisissa pohjautuu eurooppalaisen elokuvan voimahahmon Ettore Scolan (Illallinen, Vihollinen naapurissa) viimeiseen käsikirjoitukseen. Elokuvan on ohjannut Scolan ystävä Sergio Castellitto, joka myös itse näyttelee toisen pääroolin.