GPT4.0性能评测

GPT-4.0的性能评测是基于模型大小、训练数据量，以及资源使用情况来进行的。在TuringNLG2020专题会议上公布的最新OpenAI GPT-4.0实验研究中，由1750亿个参数和100GB+的历史语料库生成引擎得到强化；而即便头部学习方法、无监督方法以及迁移学习已大幅减少GPT模型的超参数选择难题（70%~90%之间不同任务间）, 但性能依然有明显升幅。 根据最新一季度NLP/ NLU 技术对Benchmarking(SQuADv2.0,GLUE)、Real World NLP Tasks (Summarization,Dialog System etc) 和 Real World Vision Task (Image Captioning) 进行了Performance Evaluation。 统一采用15gb training data + 500m parameters作为benchmark ,此外根据evaluation result found that GPT-4's performance is within 6% to 10% of state of the art models across all these tasks.