说到2023年亚马逊云科技Re:invent 全球云计算大会最大更新,当属亚马逊云科技模型的大语言模型托管服务——Amazon Bedrock.
Bedrock于两个月前正式发布,在本次大会后正式对用户可用。我们这次就来了解下该服务有什么亮点,和详细使用教程。由于小李哥Claude2.1模型申请还没批准,我们下期评测模型性能
1️⃣Bedrock的亮点是什么?
▶️ 有大量的基础模型(FM)供用户选择,功能覆盖文字生成、聊天、图片生成等。如这次最新发布的Anthropic Claude2.1, AI21 Labs, Meta, Cohere和Amazon自家自研模型等
▶️ 可以借助企业知识库,为FM扩展检索增强生成(RAG)
▶️ 安全与合规性: 支持私有化部署、全生命周期保护用户数据、可以筛选用户输入和模型输出,构建负责任的AI
▶️支持Fine-Tune模型微调, 无需编写代码,通过GUI即可训练和验证模型
▶️ Amazon自研模型Titan已支持Pre-Trainng,可以对某一行业、领域的内容更好预测
2️⃣价格
Bedrock的计费分3种方式
▶️On-Demand即用即付,根据用量付费
▶️预付费,可以承诺使用1-6个月的用量,价格会便宜一些
▶️自定义微模型调,根据训练的Token数量(通常6字节)+模型存储费用
另外从图中可知,Bedrock中的Claude 2.1模型,相对于OpenAI同类模型,具备明显价格优势
3️⃣如何打开Bedrock并申请使用模型?
▶️进入操作台Console,打开Bedrock
▶️主页点击"Get Started"
▶️点击"Base Model"查看所有的基础模型
▶️如果想申请新的模型,如Claude 2.1。点击左侧"Model Access",再点击右上角"Manage Access",申请并开启模型
4️⃣如何在Bedrock中使用模型?
▶️点击模型场景,并选择模型
▶️选择想要使用的具体模型
▶️输入问题并点击Play生成回复,同时可以调整输出长度,输出随机度、Top采样概率等参数,举例生成的是Amazon Bedrock云服务使用教程