Java虚拟机是一种抽象计算机器。像真正的计算机一样，它有一个指令集以及在运行时各种内存区域。
使用虚拟机实现编程语言是相当普遍的;
最著名的虚拟机可能是 P-Code machine of UCSD Pascal.

Java虚拟机的第一个原型实现是在Sun Microsystems inc.完成的，它在手持设备上仿真实现了Java虚拟机指令集，该设备类似于现在的个人数字助理（PDA）。Oracle现在已经将许多java虚拟机实现应用于 移动设备 pc 服务器等领域，但是Java虚拟机不局限于任何特定的实现技术、主机硬件或主机操作系统。也不局限于特定的代码执行方式,虽然不强求使用解释器来执行程序,但是也可以通过将它的指令集编译成一个实际的CPU来实现。它也可以在微代码microcode实现，也可以直接在CPU中实现。

Java虚拟机对Java编程语言一无所知，只知道一种特定的二进制格式，class文件格式。一个class文件包含Java虚拟机指令集（或者称之为字节码bytecode）和符号表，以及其他辅助信息。