梅森的学术成就以素数研究最为著名。1640年6月,费马在给梅森的一封信中写道:“在艰深的数论研究中,我发现了三个非常重要的性质。我相信它们将成为今后解决素数问题的基础”。这封信讨论了形如2^P-1的数(其中p为素数)。早在公元前300多年,古希腊数学家欧几里得就开创了研究2^P-1的先河,他在名著《几何原本》第九章中论述完美数时指出:如果2^P-1是素数,则(2^p-1)2^(p-1)是完美数。
梅森在欧几里得、费马等人的有关研究的基础上对2^P-1作了大量的计算、验证工作,并于1644年在他的《物理数学随感》一书中断言:对于p=2,3,5,7,13,17,19,31,67,127,257时,2P-1是素数;而对于其他所有小于257的数时,2^P-1是合数。前面的7个数(即2,3,5,7,13,17和19)属于被证实的部分,是他整理前人的工作得到的;而后面的4个数(即31,67,127和257)属于被猜测的部分。不过,人们对其断言仍深信不疑,连大数学家莱布尼兹和哥德巴赫都认为它是对的。
虽然梅森的断言中包含着若干错漏,但他的工作极大地激发了人们研究2^P-1型素数的热情,使其摆脱作为“完美数”的附庸的地位。可以说,梅森的工作是素数研究的一个转折点和里程碑。由于梅森学识渊博,才华横溢,为人热情以及最早系统而深入地研究2^P-1型的数,为了纪念他,数学界就把这种数称为“梅森数”;并以Mp记之(其中M为梅森姓名的首字母),即Mp=2^P-1。如果梅森数为素数,则称之为“梅森素数”(即2^P-1型素数)。 梅森比伽利略约早一年得到单摆频率与摆长平方根成反比的关系。他对E.托里拆利的真空实验的探讨有助于证实大气压力的存在。他还研究过流体的运动。