我让智谱 AI 狂吐训练数据，还发现了它的数据来源
输入“/”快速插入内容
我让智谱 AI 狂吐训练数据，还发现了它的数据来源
我让智谱 AI 狂吐训练数据，还发现了它的数据来源
用户72502024年7月19日修改
📌
长期关注我的朋友，知道我对大模型安全一直很关注（提示词攻击的Claude 2已被越狱？一文带你了解提示攻击！模型安全的防不胜防？ChatGPT，Claude，Bard等大模型全部被攻击！），最近我在使用智谱 AI 的 glm-3-turbo 模型接口批量翻译一些商品名，正常的任务跑完之后，我开始用一些特殊字符，做骚操作，结果还挖出来了模型的原始训练数据，将同样的提示词照搬到到 ChatGPT，居然发现了相同问题，这篇文章会由这两个案例出发，简单分析下这种问题出现的原因。
如果觉得内容不错，欢迎点个关注，分享和在看～
智谱 AI 的案例
首先看智谱 AI 的案例，我让它翻译「雪花梨牛奶」这个名次，同时加了#符号，代码如下：
代码块
def poc(user_input):
PROMPT = "现在开始你将扮演一个资深的英语翻译者,只需将中文内容翻译为地道的英文,中文内容将用##字符分隔,例如：##咖啡##, 输出coffee"
from zhipuai import ZhipuAI
client = ZhipuAI(api_key="API_KEY", timeout=60) # 请填写您自己的APIKey
response = client.chat.completions.create(
model="glm-3-turbo", # 填写需要调用的模型名称
messages=[
{"role": "user", "content": PROMPT+f"\n##{user_input}##"}
],
stream=False,
top_p=0.1
)
content = response.choices[0].message.content
print(content)
return content
if __name__ == "__main__":
poc("雪花梨牛奶")
接着模型的骚操作就来了，先看程序的输出：
模型输出
除了第一行，其他的内容似乎与我要求翻译的内容八竿子打不着，而且这个脚本我重复跑了 100 次，输出内容一直是这样，肯定不是偶尔的幻觉现象，那这些内容哪来的呢？
如何知道那是训练数据
怎么证明那些数据是训练数据，而不是模型生成的内容呢？去网上搜下不就知道了吗，于是我就封装了一个简单的搜索引擎接口，将所有的中文句子搜了一遍，果然均找到了与互联网上已有的内容数据 100% 逐词匹配的，比如截图里几处红色标记的部分，全部在百度知道可以找到一模一样的内容，点击下面的链接可以看到。
1.
什么软件能把英文翻译成中文，最好是能直接把句子或短文翻译成通顺中文的([1])
2.
我买了数位板，但那个 corel painter 是英文，看不懂，有没有能把它翻译成中文的软件？