云计算有三个层次。最低层的是 IaaS（Infrastructure-as-a-Service），即提供计算机本身基本的计算能力（物理形式或虚拟形式）、存储（通常是磁盘）、计算。亚马逊 Web 服务（Amazon Web Services，AWS）提供了弹性计算云（Elastic Compute Cloud，EC2)，以及简单存储系统（Simple Storage System，S3）服务，这两者就在 IaaS 层面。Google 也提供了 IaaS 存储服务，称为 Google Cloud Storage。
Google App Engine 作为云计算的中间一层，称为 Paas（Platform-as-a-Service）。这一层为用户的应用提供执行平台。最高一层是 Software-as-a-Service（SaaS）。在这一层，用户只须简单地访问应用，这些应用位于本地，但只能通过因特网访问。SaaS 的例子包括基于 Web 的电子邮件服务，如 Gmail、Yahoo! Mail 和 Hotmail。
在这三层当中，IaaS 和 SaaS 是最常见的，而 PaaS 则没有像前者那样引起注意。不过情况正在改变，PaaS 也许是这三者之间最强大的。通过 PaaS，可以免费获得 IaaS，但 PaaS 中含有许多非常服务，自行维护这些服务的开销非常大且很麻烦。这些功能位于 IaaS 层和上面的层次中，包括操作系统、数据库、软件授权、网络和负载平衡、服务器（Web 和其他）、软件补丁和升级、监控、警告、安全修复、系统管理等。使用云服务的主要好处是与自行维护相关设备相比，使用这一层的服务不会让设备空闲。因为购买计算机设备的数量是根据原先预计的网络流量计算的。如果花费大量资金购置的设备没有充分得到利用，在那里闲置就非常令人沮丧。
云计算的概念已经出现很久了，Sun Microsystems 的 John Gage 在 1984 年创立了最初令人记忆深刻的术语——网络即是计算机。但云计算在 21 世纪初才商业化。具体来说，是在2006 年年初，亚马逊推出了 AWS。亚马逊闲置的功能促使他们推出这个服务。亚马逊必须购置足够多的计算资源，来满足购物季在线购物的流量和业务需要。
但凭借所有的存储和计算能力，这些设备中的大部分在一年的其他时间里会做些什么呢？老实说，闲置在那里。所以为什么不将这些额外的 CPU 和存储能力租出去，提供一个服务呢？亚马逊的确这样做了。从那时开始，其他几家大型科技公司也加入了这种趋势：Google、Salesforce、Microsoft、RackSpace、Joyent、VMware，以及许多其他公司都加入到这个行列中。