问:ChatGPT Plus 的上下文窗口多大?
答:32K
问:为什么实际使用过程中感觉没有达到这么大的长度?
答:
1. 上下文窗口长度是发送和接收的所有消息长度之和,还包括系统 Prompt,不仅仅是你发送的消息长度。ChatGPT 的系统 Prompt 好像就 1K 多长度。
2. OpenAI 会做一些工程上的优化,比如历史记录超出一定长度就会把老的历史摘要或者移除,并不会真的让它自然增长到 32 K
3. 当上下文信息过大,即使没有到 32K,幻觉也会很厉害
图片上的信息来源:
网页链接#微博新知#