当前热议!最大CLIP!LAION发布CLIP的扩增定律


(资料图片)

点蓝色字关注“机器学习算法工程师”

设为星标,干货直达!

近日,LAION等机构在Reproducible scaling laws for contrastive language-image learning发布了CLIP的扩增定律(scaling law),其中最大的CLIP为ViT-H/14,基于LAION-2B数据集训练,可以在ImageNet1K数据集上到78.0%的zero-shot准确度,性能超过OpenAI目前开源的CLIP L/14,和Meta AI的FLIP Huge模型性能相当,但是模型已经开源在https://github.com/LAION-AI/scaling-laws-openclip。

论文的实验采用开源数据集LAION-400M和LAION-2B数据集,训练框架采用开源的OpenCLIP,所以论文的实验是可以复现的。训练在1520 NVIDIA A100 GPUs上进行,采用PyTorch DDP分布式训练策略,采用混合精度(但是fp16会不稳定,所以采用bf16,或者基于TF32的float32),训练的batch size在 86-88K之间。实验的总体结论是:扩增定律也明显适用CLIP,当扩增模型,训练数据和算力时,模型在下游任务上有一致性的提升。但是不同的训练数据集表现出不同的扩增系数:OpenCLIP的模型(基于LAION-2B数据集)在图文检索任务上有较大的扩增系数,而OpenAI CLIP模型(基于私有的WebImageText 400M数据集)在zero-shot分类任务上有较强的扩增系数。这个结论和FLIP的结论比较吻合,这说明训练数据集对CLIP的性能确实有比较大的影响。用论文结论的一句话来说就是:Scaling behavior depends on task type and pre-training dataset。更多内容可见论文:https://arxiv.org/abs/2212.07143

标签:

最近更新

当前热议!最大CLIP!LAION发布CLIP的扩增定律
2022-12-23 11:01:47
每日消息!手势识别板块12月22日跌1.36%,汉王科技领跌,主力资金净流出2.21亿元
2022-12-23 04:27:58
【环球速看料】首置助上车 推动向上流
2022-12-22 16:50:10
全球今亮点!四川彭山:江口沉银博物馆正式封顶
2022-12-22 10:37:07
【天天播资讯】【券商聚焦】招证国际升石四药集团(02005)目标价27.3%至5.6港元 维持“增持”评级
2022-12-21 23:48:42
世界热点!阳光之下:开播六集,剧中两个问题明显,引发原著粉不满
2022-12-21 15:55:20
【天天快播报】Copilot 与 ChatGPT,让程序员如虎添翼 —— 让 AI 们为我们打工!
2022-12-21 09:43:06
全球要闻:12月LPR出炉 连续4月“按兵不动”!
2022-12-20 21:25:26
新资讯:银保监会:警惕不法贷款中介诱导违规转贷
2022-12-20 14:33:03
速讯:被裁员工报仇?近60%人赞成!马斯克将卸任推特CEO 没继承者还是我掌权
2022-12-20 08:17:06
全球微头条丨平安小橙花网贷的逾期会上征信吗
2022-12-19 19:20:53
今日讯!新能源车企热衷“涉险” 蔚来收购汇鼎保险经纪
2022-12-19 14:49:10
全球速递!5 年的前端成长计划 - 仅剩 300 名额 - 打破职业发展壁垒
2022-12-19 08:50:17
今日精选:华安:全县疫情防控工作会召开
2022-12-18 22:58:53
全球快报:微波炉里可以煮冻水饺吗 微波炉里能不能煮冻水饺呢
2022-12-18 06:05:24
动态:新华全媒+|还记得去年追的“大象去哪儿”吗?云南野象过得挺好哒!
2022-12-17 11:25:16
热讯:上海轨道交通12号线西延伸工程开工 总投资额逾160亿元
2022-12-16 19:40:48
【世界热闻】鸿达兴业:子公司部分产品订单爆发式增长 全力以赴保障药品包材供应
2022-12-16 14:23:44
环球时讯:买房先付首付后签合同应该怎样处理呢??
2022-12-16 07:54:13
当前简讯:南乐:落实“三个平台”促党员干部联系群众
2022-12-15 19:00:15
每日观点:稻田养甲鱼怎么过冬啊 稻田养甲鱼如何安全过冬呢
2022-12-15 14:09:20
天天动态:亚辉龙(688575)12月14日主力资金净卖出2843.82万元
2022-12-15 07:40:01
天天热点!鼎通科技: 鼎通科技向特定对象发行股票之发行过程及认购对象合规性的专项法律意见书
2022-12-14 17:01:09
要闻速递:鹏翎股份董秘回复:目前河北新欧经营情况良好
2022-12-14 12:22:48
焦点速递!12月13日基金净值:汇添富智能制造股票A最新净值1.564,跌2.55%
2022-12-14 01:36:49
焦点日报:格林达(603931)12月13日主力资金净卖出1861.74万元
2022-12-13 14:59:36
【天天聚看点】租房违约金上限是怎么规定的
2022-12-13 08:21:00
全球速递!南微医学(688029.SH):“生产基地建设项目”延期
2022-12-12 18:07:01
【全球播资讯】有仙气的名字 比较有仙气的名字大全
2022-12-12 13:27:17
世界播报:仁度生物(688193):于会议室及线上会议举行投资者关系活动
2022-12-09 20:57:56