Pas de mention du jeu d'échecs dans sa jeunesse, il a fréquenté le café Procope et de la Régence, mais c'était aussi des annexes de théâtres. Il est encore en froid avec Frédéric II quand Philidor vient à "Sans soucis". La fuite de la Prusse et le rejet de Louis XV le conduisent à 59 ans d'octobre 1753 à novembre 1754 à Colmar où sa seule distraction est de jouer aux échecs avec un employé du gouvernement à la fabrication des cartes à jouer.

En 1757, il vient jouer aux échecs avec le comte d'Uffel au château de Dortan et visite les partisans tourneurs de pièces d'échecs.

Mai 1760, Voltaire a fait reconstruire le château de Ferney et commence à recevoir, lettre de Marmotel en visite à Freney: "Gaulard poliement joue aux échecs avec Voltaire qui adore ce jeu, mais a horreur de perdre. Gaulard sait perdre, aussi Voltaire le trouve t-il pleins de qualités."

Voltaire recueille la nièce de Corneille qui écrit à Freney le 24 décembre Volt. :
1760: "Pensez-vous que j'ai un chapelain, le bon abbé Adam, uniquement pour faire ma partie d'échecs ?" Elle écrit le 24 décembre 1761: "Ces jours derniers, plusieurs visiteurs sont arrivés: monsieur l'abbé Coyer qui fait sa partie d'échecs avec l'oncle (Voltaire) ce dont le père Adam enrage, disant qu'on le supplante dans la fonction essentielle de sa charge."

Voltaire écrit le 12 février 1764: "J'oubliais de vous dire que nous avons un jésuite qui nous dit la messe très proprement;enfin c'est un jésuite dont un philosophe s'accomoderait." il ajoute sur les échecs: "Je les aime, je m' passionne et le père Adam qui est une bête m'y gagne sans cesse, sans pitié ! tout a des bornes ! pourquoi suis-je aux échecs et pour lui le dernier des hommes ? tout a des bornes..." Quand la partie s'annonçait mal pour lui, Voltaire se mettait à chanter une sorte de "tourloutoutou" que le père Adam écoutait comme un affreux présage. Plus d'une fois on vit le père s'enfuir en courant, bombardé par les pièces du jeu qui s'accrochaient dans sa perruque. Parfois, poursuivi par la canne, il se cache dans un placard. L'orage s'apaisait vite. Voltaire demandait: "Adam, ubi es ?" Adam réapparaissait, on lui avait pardonné son involontaire victoire.
Cette même année 1764 un écossais nommé Boswel se présente à Ferney, entre sept et huit heures, Voltaire sonne et crie: "allez chercher le père Adam.", c'est l'heure des échecs.

Voltaire a un familier genevoix depuis son installation à Ferney; le peintre Huber. La princesse Daschoff, dame d'honneur de Catherine II de passage à Genève en 1771 écrit dans ses mémoires: "Hubert et Voltaire combattaient souvent aux échecs. Voltaire perdait toujours, et dans ces occasions, il ne manquait jamais de laisser éclater sa mauvaise humeur." Un tableau d'Huber se trouve au musée de l'Ermitage à Saint Petersbourg: "Voltaire jouant aux échecs avec le père Adam" Voltaire est souscripteur de l'édition de 1777 de "l'analyse des échecs" de Philidor, édition remaniée sur les conseils du célèbre Diderot, ami de Philidor.
Une estime réciproque a réuni Voltaire et le père Adam en plus du jeu d'échecs quand Voltaire part à Paris en 1778, le père Adam, 72 ans est congédié par Mme Denis après 17 ans de services, Voltaire lui verse une pension de 700 livres. Curieusement, Voltaire a peu écrit sur les échecs sauf ceçi:
"Le jeu que nous appelons "des échecs" par corruption, fut inventé par eux (les indiens) et nous n'avons rien qui en approche. Il est allégorique, comme leur fables, c'est l'image de la guerre. Le nom de Schack qui veut dire prince, et de pion, qui signifie soldat, se sont conservés." Essai sur les mœurs III