麦克洛夫特比歇洛克年长七岁，在政府部门审核账目。实际上，按照福尔摩斯的话，麦克洛夫特在某种程度上就是英国政府：“我和他都有同样的才能，我用来侦缉破案，而他则使用到他那特殊的事务上去了。各个部门作出的结论都送到他那里，他是中心交换站，票据交换所，这些都由他加以平衡。别人都是专家，而他的专长是无所不知。”
他身材高大，结实魁梧，模样笨拙，可是在这笨拙的躯体上长着的脑袋却在眉宇之间流露出一种相当威严的神色，铁灰色的眼睛是如此深邃机警，嘴唇显得如此刚毅，表情又是如此微妙，以至于只要看上他一眼，人们就会立刻忘掉那粗笨的身躯，而只记住他卓尔不群的头脑。
两年大学生活之后，福尔摩斯搬到伦敦，住在靠近大英博物馆的蒙塔格街。他继续全新投入对犯罪文学、罪犯以及相关科学的研究，偶尔侦办案件，不过几乎没有被记录下来。1881年，他做出一个重要决定，打算寻找一位房客。他在贝克街221号找到“一处非常好的房子”，那是“221号乙”套房，但是他的经济收入令他需要与人合租。通过办公室熟人斯坦弗——福尔摩斯和他在伦敦圣巴塞洛缪医院相遇——他被引见给新近从英国陆军病退的约翰·H.华生，两人于是成为室友。1881年3月，福尔摩斯接受苏格兰场托拜厄斯·葛雷格森探长请求，协助侦破布里克斯顿路附近的一桩神秘谋杀案。福尔摩斯建议，如果华生没有什么别的重要的事情，可以协助他进行初步调查。于是诞生了第一篇公开的歇洛克·福尔摩斯冒险故事——1887年出版的《血字的研究》，从而确立了福尔摩斯和华生的合作关系。
他的侦探生涯开始很缓慢，到1889年福尔摩斯声称调查了大约五百桩“大案”，1891年总共侦办了一千桩案子。他的委托人从地位低下的打字员到皇室成员，从警察到欧洲王室，办案足迹从伦敦及郊区一直到英国的乡村小镇，甚至遍及欧洲大陆的首府和梵蒂冈。他将从事犯罪调查作为一种生计手段，声称他收取的费用是“固定的范围内”，“或者也不完全”，因为他常常侦办案件是在公众利益之外，甚至是为了避免无事可做。尽管福尔摩斯声称，“警察不会雇用他以替代他们的不足”，实际上警察常常向他求助解决案件，因为他很早就明白了把功劳让给警察。福尔摩斯是否要求警方为他提供帮助不得而知，但是他很受正规警察重视。“我们苏格兰场的人不是嫉妒您，”莱斯特雷德告诉福尔摩斯。“不是的，先生，我们为您感到骄傲。而且如果您明天能来，所有的人，从最年长的警探到最年轻的警官都会高兴得向您握手祝贺的。”对学者来说遗憾的是，信息的缺乏使得追踪福尔摩斯在报纸上的活动很困难。
圣巴塞洛缪医院。
《女王的伦敦》(1897)
福尔摩斯归来之后，从1894年到1901年间侦办了数以百计的案件。这个时期华生最终使他戒掉了“毒品的嗜好，那曾一度威胁到他非凡的事业”。他为英国所作的贡献使他在1895年得以受到维多利亚女王私下接见（据传闻王室也是华生医生故事的读者），尽管他是王室忠心的仆人，还是于1902年6月没有任何解释地拒绝了封爵（与之相反的是，阿瑟·柯南·道尔在1902年接受了爵位）。他于1903年或者1904年退休，单独居住在苏塞克斯海岸，在那里他开始养蜂，撰写不朽的《推理完全艺术》，这是一部关于犯罪学的博大著作，很显然没有完成。在阿瑟·柯南·道尔的帮助下，他还写了（没有华生）两篇旧案的记录：《皮肤变白的军人》（1903年发表）以及《狮鬃毛》（1907年发表）。1912年，他将著作放到一边，开始了他最危险的任务：扮作一名爱尔兰反对派，被德国间谍组织雇用。借此他能够给德国很多错误的情报，并于1914年抓获了普鲁士间谍头子冯·鲍克。
没有关于福尔摩斯更多可靠的消息了。他已去世的消息，当真发生的话——有些人声称他的化学和养蜂才能使他从蜂王浆中提取长生不老的物质——并没有报道过。某些人将理性和秩序压垮二十世纪的那些疯子的成功案例——希特勒、斯大林以及极权主义政权的垮台——归结于他那些持续不断的、尚未发掘的工作，但是目前针对这一猜测还没有证据。还有的人——比如撰写玛丽·罗塞尔系列的作者劳拉·金——记录了福尔摩斯1914年之后的生活，但是这些作品纯粹是虚构的。福尔摩斯是一位多产的专论作家，作品涉及犯罪学的多个领域以及其他十分独特的兴趣（诸如拉苏斯复调赞美诗和早期英国宪章），只是这些作品现在没有存本。