豆包大模型深度体验，除了便宜，还有哪些亮点？
输入“/”快速插入内容
豆包大模型深度体验，除了便宜，还有哪些亮点？
豆包大模型深度体验，除了便宜，还有哪些亮点？
飞书用户7250
飞书用户66132024年8月2日修改
📌
在之前关于大模型价格战的文章中，我指出豆包大模型 API 当时只有企业认证的用户可以使用，最近开放给了个人（火山方舟向个人开发者开放啦，这篇攻略请查收），所以个人开发者经实名认证后也可以使用，这篇文章我将从实际开发接入的角度出发，来综合分享下豆包()大模型的开发体验，最后谈谈除了便宜，它的能力究竟适合做 AI 应用开发吗
莫尔索随笔
跟踪LLM(大语言模型)最新动态，分享第一手LLM 实践经验，致力于打造个人LLM 应用开发全栈指南！
74篇原创内容
公众号
测试指标
测试指标选哪些，这里以我自己实际接触到的一次技术咨询（来自群友@两方土）为例，抛开大模型厂商自己作为宣传的跑分榜单，看看企业选型究竟关注什么，下面是对方当时抛出的问题：
我们想跟大模型公司合作，通过 api 调用他们的大模型，在找这样的公司时主要考虑什么哪些因素呢，我列了下面几点：
1、模型性能和能力：参数规模、训练数据集的来源和大小、上下文长度
2、模型类型(模型能力)：有哪些模型类型，文本模型、语音模型，是否有向量化模型
3、易用性和接入方式：API 的接入方式、文档的完整性、SDK 的支持情况等。
4、成本：定价策略，包括计算资源的计费方式，token 如何收付
5、安全性和合规性：数据隐私保护、是否符合相关法律法规和标准
6、性能稳定性和故障率：模型运行的稳定性，系统故障和崩溃的频率
7、并发处理能力：模型能够处理的并发请求量
8、调用 API 的响应时间
9、可扩展性：是否具有良好的可扩展性，能够随着企业业务的发展而不断升级和优化。
我本篇内容会围绕这些点展开。
模型类型
进入模型广场([1])，火山方舟当前支持接入 14 个大语言模型，模型提供商除了字节，还有 Moonshot、智谱 AI、Mistral AI()（开源）、Meta（开源），除此之外还提供了面向向量检索场景的向量模型 doubao-embedding，用于声音克隆的语音模型 ve-voiceclone，不过这里我们主要关注豆包系列 6 个语言模型，即 Doubao-lite-4k 、Doubao-lite-32k 、Doubao-lite-128k 、Doubao-pro-4k 、Doubao-pro-32k 、Doubao-pro-128k 。
下面是它们的区别，来自官网介绍：
•
Doubao-pro-4k([2]) 我们效果最好的主力模型，适合处理复杂任务，在参考问答、总结摘要、创作、文本分类、角色扮演等场景都有很好的效果。支持 4k 上下文窗口的推理和精调。
•
Doubao-pro-32k([3]) 我们效果最好的主力模型，适合处理复杂任务，在参考问答、总结摘要、创作、文本分类、角色扮演等场景都有很好的效果。支持 32k 上下文窗口的推理和精调。
•
Doubao-pro-128k([4]) 我们效果最好的主力模型，适合处理复杂任务，在参考问答、总结摘要、创作、文本分类、角色扮演等场景都有很好的效果。支持 128k 上下文窗口的推理和精调。
•
Doubao-lite-4k([5]) 拥有极致的响应速度，更好的性价比，为客户不同场景提供更灵活的选择。支持 4k 上下文窗口的推理和精调。
•
Doubao-lite-32k([6]) 拥有极致的响应速度，更好的性价比，为客户不同场景提供更灵活的选择。支持 32k 上下文窗口的推理和精调。
•
Doubao-lite-128k([7]) 拥有极致的响应速度，更好的性价比，为客户不同场景提供更灵活的选择。支持 128k 上下文窗口的推理和精调。
挺废话的，开发者关注的模型性能和能力说明基本没有，只提到了上下文长度，不过这部分后面我会有具体的测试。
模型初体验
这里以最强的 Doubao-pro-128k 作为测试，使用 API 调用使用前，需要先创建推理接入点([8])，需要注意的是，当前只有华北 2（北京）这一个 region 可选，对 TTFT（首 token 输出耗时）敏感的应用接入时需要特别注意
然后在模型推理的入口就可以看到我们的刚刚创建的推理点，大概 1 ～ 3s 等待状态从调度中切换为健康就可以通过 API 方式调用了。
API 调用时支持两种授权方式，一种是采用直接生成的 API Key 授权（推荐个人开发者采用），一种是火山引擎 IAM 授权（推荐企业开发者采用），我这里选用 API Key 授权方式调用：
import os
import requests
import json
从环境变量中获取API密钥和模型ID
api_key = os.getenv("API_KEY")
model = os.getenv("MODEL")
headers = {
"Content-Type": "application/json",
"Authorization": f"Bearer {api_key}"
}
data = {
"model": model,
"messages": [
{
"role": "system",
"content": "You are a helpful assistant."
},
{
"role": "user",
"content": "你好!"
}
],
"stream": False
}
response = requests.post(url, headers=headers, json=data)
result = json.loads(response.content)
print(result["choices"][0]["message"]["content"])
当然也可以选择 OpenAI() 兼容的方式访问：
import os
from openai import OpenAI
从环境变量中获取API密钥和模型ID
api_key = os.getenv("API_KEY")
model = os.getenv("MODEL")
client = OpenAI(base_url=url, api_key=api_key)
response = client.chat.completions.create(
model=model,
messages=[
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "你好!"}
]
)
print(response.choices[0].message.content)
官网也提供了官方 SDK 调用方式，默认走火山引擎 IAM 授权，且每次调用都包括一次 token 获取刷新操作，可以自行可以在这里直接生成 token（https://api.volcengine.com/api-explorer），token最长有效时间可以设置为30天，SDK版本分为 V3 和 V2 两个版本。
V3 版本目前暂且只支持 cURL（原生 HTTP 请求）和 Python SDK 方式，暂不支持 Go SDK、Java SDK 及 JS SDK 方式调用，并且 Python SDK 方式也暂不支持 Function Call 能力（文档未说明，但测试下来未生效）。
V2 版本虽然支持 Go SDK 及 Java SDK，也支持 Function Call 能力，但是接口设计有待改进，下面是官网 API 调用示例，大家可以自行评价。