在论及维特根斯坦与当代欧洲大陆哲学的关系时，他的思想通常被与海德格尔的存在哲学相提并论，两者之间被看作有着深厚的思想渊源。有人甚至把他们两人的思想归于同一种哲学形式，如罗蒂（）把他们看作是所谓的“教化哲学”的主要代表人物。从某种哲学倾向上看，维特根斯坦的思想特别是他对基础问题的研究思路，与海德格尔的哲学精神的确有着一些相似之处，比如，维特根斯坦强调对基础问题的研究，这种基础不是指某个学科或哲学自身的基础，而是指人类生活的基础或人类文化的基础。正如他自己所说，他对建构一座大厦不感兴趣，而是更关心大厦的基础。这与海德格尔的哲学思路是一致的。海德格尔认为，解决存在问题的关键是弄清这个问题的基础，认识到存在问题本身对整个本体论或存在论的基础性意义。
维特根斯坦思想中有一条重要线索，这就是关于可说与不可说的界限。前期思想中，他把思想的界限划定在可说与不可说之间，不仅强调了语言的界限就是思想的界限和世界的界限，而且坚持不可说之物的神秘性。而在后期思想中，他则希望用描述语言游戏的方式“显示”这种不可说之物，并使思想的界限消失在具体的语言活动之中。这种对语言极限的认识与海德格尔对语言的认识是一致的。因为海德格尔在他的后期就竭力表明，抽象的、概念的语言是有限的，有许多东西是无法用这种语言表达的，因而是神秘的。在这种意义上，在某种特定的场合，“沉默”恰好是一种真正的理解。
追求基础的不可怀疑性和确定性，是维特根斯坦后期思想中的重要内容。在他看来，语言游戏中的遵守规则不是一个能够给出理由的行为，因为一旦能够这样，也就意味着我们同样可以对这种行为提出怀疑，而遵守规则行为本身却是不可怀疑的，就是说它是不假思索的，可以不对这种行为提出任何理由或根据。因为，遵守规则就是语言游戏本身。这种对基础的确定性追求，同样符合海德格尔的思想。海德格尔就强调，思想本身是一个无须证明的过程，如果用科学的分析方法来解释思想，我们就不会把握思想的真谛。
然而，尽管维特根斯坦与海德格尔都把语言当作他们研究的中心，但他们对语言的理解以及处理语言的方式却是截然不同的，而这种不同恰恰反映了分析哲学与存在哲学之间的根本区别。维特根斯坦前期使用的是逻辑的语言，他的研究方式是明显的逻辑分析；而在他后期思想中，日常语言的使用是他关注的内容，研究的角度已经从静观的分析转向了动态的参与。在维特根斯坦思想发展的整个过程中，语言研究不是手段、途径、方法或阶段，而是目的、内容、结果和一切。所以，我们在他的思想中会看到，语言的界限就是他思想的界限和世界的界限。然而，在海德格尔那里，语言被主要地看作是一种手段、途径和方法，语言研究的目的是揭示、展露和显现存在。无论是“语言作为存在的家”，还是“人是语言的存在者”，这些都表明海德格尔把语言看作为存在去蔽的方式这种思想动机。同样，无论是诗的语言还是无言的理解，他都是把语言作为一种道路，人们沿着这条道路会走向存在的深处。
