今天小编分享的科学经验:把1个腦洞发展成1场顶会workshop,阿里妈妈只用了1年,欢迎阅读。
学术打野 NeurIPS 2024,好多人啊(发出周迅的声音)!
最热闹最值得回味的,咱都总结好了:
学术追星:和 Ilya、FeiFei、Kaiming、Saining 拘谨但不失礼貌地合照。
现场开吃:分为吃瓜 Bengio 和 OpenAI 员工吵起来版 & " 学术蝗虫 " 狂炫会上的饭和下午茶版。
勇闯 Workshop:收获最新 insight,收集五花八门贴纸,抢各种周边。
该说不说,今年 NeurIPS 开了好几个新的 workshop,其中有一场还挺特别的,值得一聊。
特别就特别在,它是咱中国公司提出概念,然后咱中国公司围绕该概念为题主办的。
而且NeurIPS 期间同题竞赛也被 pick——这赛题它还跟这家中国公司有关系,是该公司作为第一部門,同北京大学邓小铁教授、卢宗青教授研究团队联合提报的。
答案揭晓!
这场 Workshop 就是Auto-Bidding in Large-Scale Auctions(大规模拍卖中的自动出价),从AIGB(AI-Generated Bidding)Bidding 模型训练新范式延展而来。
去年 4 月,,创新地将自动出价建模为生成式序列决策问题。
这是生成式模型在该领網域的首次应用,而且一年来在阿里妈妈的业务场景实操效果非常不错。
因此赛题入选后,拿到主办权的阿里妈妈特别設定了 AIGB 赛道(也成为国内工业界今年唯一一家获得 NeurIPS 比赛主办权的组织)。
说起来,主办 Workshop、提报赛题入选,在 NeurIPS 这个 level 的顶会上够可以了吧?
结果阿里妈妈还在 Workshop 上还放了一招彩蛋:
为了让更多的研究者进入这个领網域并激发更多诸如 AIGB 这样的算法诞生,开源了世界首个包含了大规模模拟竞价系统和博弈数据集的 Benchmark,即 AuctionNet。
敲黑板,AuctionNet 不仅适用于自动出价决策算法研究,还适用于大型博弈的广泛的决策智能领網域。强化学习、生成模型、运筹学和机制设计等更广泛领網域的研究人员也能受益,一整个非常 nice。
就库库一键三连呗?
从一个腦洞到一场 workshop
OK,咱们先来厘清 AIGB 的概念。
展开来说,AIGB 是一种基于 Transformer、Diffusion Model 等生成式模型的自动出价问题新的解决范式。
出价问题一般是广告主很头疼的事情,简单理解就是他们得在平台上通过竞价的方式,进行广告投放、精准营销。
并且是尽可能在预期成本下达到最好效果那种。
在用 AI 大模型自动出价之前,整个出价领網域业界其实已经在用第三代办法了,靠的是 RL(强化学习)。但这种方式也有不足,比如在自动出价这种长序列决策场景下,会出现训练误差累积过多的问题。
与以往解决序列决策问题的 RL 思路不同,AIGB 将 Auto-Bidding 视为一个策略生成问题。
也就是说,AIGB 通过生成模型强大的特征关联以及分布拟合能力,直接捕捉历史 Bidding 数据集中优化目标和出价策略之间的相关性从而优化策略。
相比于传统的 RL 方法,AIGB避免了价值函数预估和自举法所所造成的误差,而且尤其擅长处理 Bidding 所面对的长序列稀疏回报的问题。
阿里妈妈决策智能技术团队负责人介绍,AIGB 在实际在线广告平台预算 AB 测试中取得了显著效果,并已在阿里妈妈广告场景实现大规模商业化落地,商家经营效果提升显著。
更详细的内容大家可以去看看之前 KDD 2024 接收的《AIGB: Generative Auto-bidding via Conditional Diffusion Modeling》,这里不多赘述了。
昨天,阿里妈妈在 NeurIPS 2024 现场组织的 workshop,就是围绕一种典型情况的 AIGB 话题展开——大规模拍卖中的自动出价。
这场 workshop 邀请了来自 Google Research、Amazon、Purdue University 在内的学界和工业界嘉宾来分享交流决策智能领網域的最前沿技术。
据淘天集团技术副总裁、算法技术负责人,阿里妈妈 CTO 郑波透露,AIGB 居然是从他的一个腦洞开始的。
郑波表示,去年年初,阿里妈妈的技术同学们在生成式出价这个方向探索和实践,并在业界首次提出了出价算法新范式:AIGB(AI- Generated Bidding),他相信 AIGB 有潜力成为自动出价和大规模拍卖领網域的下一代最先进技术。
阿里妈妈首席算法架构师、资深总监玺羽则表示,自动出价是广告最具特色的技术领網域之一,一直以来都希望能吸引更多的从业者和非从业者关注这个领網域。
阿里妈妈依托 NeurIPS 举办的这次 workshop,为大家提供了一个交流的平台。
而与会嘉宾中的大多数,不仅对 AIGB 技术本身的前沿性和创新性给予了高度评价,还对其在各行各业中的广泛应用价值及未来潜力表示了非常充分的肯定与期待。
来自Google Reasearch 的 Dr. Zhao以《Auto-bidding in Online Advertising》为话题,简明扼要分享了自己对于最新的自动出价技术的见见解。
" 生成模型和大型模型促进该领網域的快速发展并带来新的突破。"Dr. Zhao 表达了自己的看法," 我可以看到将生成模型应用于自动出价的各种潜在优势。生成模型可以帮助广告商更好地了解他们的偏好,并帮助生成更复杂和更具适应性的出价策略。"
全球 1500 多支队伍角逐,会上放榜
这场 workshop 上也有 " 大规模拍卖中的自动出价 " 赛题参赛选手们和团队的闪耀时刻。
选手们基于不同的基础生成模型,提出了一批不同于 DiffBid(基于 Diffusion Model 的出价算法)的 AIGB 解决方案,迸发出诸多亮点。
赛题总共分为两个赛道,分别是:
AIGB 赛道:利用生成式模型学习自动出价 Agent
通用赛道:含不确定性的自动出价
AlGB Track Winner 两个团队,KGAB Team和CleanDiffuser Team作为获奖团队代表在 workshop 上做了 pre~
参赛团队也有代表阐述了对 AIGB 的观点及对未来的判断。
一位来自国内学界的助理教授表示自己非常肯定 AIGB 的价值,在他看来,AI-generated Bidding 技术正迅速成为广告投放与出价优化领網域的核心驱动力," 随着广告生态系统的复杂性和动态性不断提高,传统规则驱动的出价方法逐渐显现局限,而基于人工智能的出价技术能够通过实时数据处理、动态预测和自适应策略制定,实现更高效和精准的资源分配。"
基于自己的研究和学术视野,他很乐意地分享了一点自己已经洞察的先机:
未来的发展中,我认为个性化出价策略,基于广告主行为数据构建高度定制化的出价模型会是一个比较有趣的方向。
多位来自于国内顶级互联网的算法专家谈道,不论是基于 Transformer 还是 Diffusion 的探索都会促进生成式技术在 bidding 方向的全面落地,相信随着众多从业者的探索与完善,AIGB 技术会变得更加成熟并解决传统方法所无法解决的问题。
其中一位算法专家表示,他所在的团队正探索 AIGB 模型的落地,旨在实现从复杂环境上下文出发的端到端智能出价,并已经取得不错的成果。
从业界人士了解到,比赛的成果与阿里妈妈去年提出的 DiffBid 在效果上旗鼓相当。而 AIGB 范式下技术迭代很快,据阿里妈妈算法专家介绍,阿里妈妈在 DiffBid 基础上,经过近一年的努力又研发了新一代的出价算法,在自动出价比赛激战正酣之时,已经在双十一期间悄然上线,拿到了显著的效果。
官方统计数据显示,本次比赛总报名人次共 1861 人,AIGB 赛道 948 人(海外 70 人),通用赛道 913 人(海外 90 人),包括全球范围的顶尖高校、研究机构和科技、金融公司团队,以及很多跨组织和个人名义参赛团队。
最后组成了 793 支 AIGB 赛道队伍和 729 支通用赛道队伍,共计 1522 支队伍参与赛题角逐,报名参赛队伍中包括北大、清华、哥大、UCSD、慕尼黑工业大学、南洋理工、首尔大学等全球知名高校团队,以及微软、腾讯、蚂蚁集团、快手、虾皮、中国建设银行、字节跳动、阿里巴巴等科技或金融公司团队。
还有很多跨组织团队和个人名义团队参赛。
浅划一个令人羡慕的非重点,2 个赛道共 12 支队伍都有赛事奖金拿,最高 6000 刀!
当然了,因为是阿里妈妈举办,所以优胜者会有阿里巴巴的实习机会、校招绿色通道以及访问学者资格。
" 源神 " 启动,正式开源自动出价决策领網域的 Benchmark
最后聊聊 Auto-Bidding in Large-Scale Auctions 上一个比较惊喜的点——
" 源神 " 启动!
阿里妈妈宣布,计划正式开源自动出价领網域的 Benchmark「AuctionNet」,包含 48 个不同 Agent 互相竞价的轨迹,共有超过 5 亿条记录,占用 80GB 的存储空间。
这是世界首个标准化的大规模竞价模拟系统和大规模博弈数据集,相关成果已被 NeurIPS 2024 收录为 Spotlight 论文(录取率在 3% 左右)。
特别强调一下,AuctionNet不仅适用于广告竞拍中出价决策算法的研究,还适用于大规模博弈中决策的研究。
这是因为自动出价属于决策智能范畴,可以广泛应用在游戏、自动驾驶、市场营销、推荐系统、金融量化投资等领網域。
在来自 Google Reasearch 的 Dr. Zhao 看来,开源 Benchmark 的标准化评估和可重复性,将推动这一领網域的推动学术研究和实际应用的技术创新。
不仅如此,还将有助于协作和知识共享帮助该领網域更多人受益。
讲道理,阿里妈妈开源自动出价决策领網域的 Benchmark,真的为搭起一座多方共赢的桥梁砌上了最重要的第一块砖。
毕竟时至今日,在线广告依然扮演着互联网经济中至关重要的角色:
统计数据显示,2023 年全球在线广告市场规模超过了 6000 亿美元;纵观全球,Google、Meta、TikTok、Alibaba 都有相应的在线广告平台,就连 AI 2.0 时代弄潮儿 OpenAI 也在近日传出考虑在产品中引入在线广告的消息。
这个领網域内,自动出价模式的出现打破了传统广告技术体系,成为驱动当前在线广告发展的核心动力。
但一切事情都不会完美无瑕。作为近年来工业界的研究焦点,自动出价领網域仍然存在许多颇具挑战性、有价值的科研问题。
比如因为转化稀疏、转化率预测不确定性等问题,仍然需要精心设计如何在投放终点恰当地满足成本约束;比如时过境迁,工业界的竞拍环境已经不再是传统的单一坑位下的 GSP 拍卖机制,如何在更复杂的竞拍环境中找到最优的出价策略仍然是尚未解决的难题。
明面上,解决这些问题是在助推商业收益,但从深层次来说,更是可以推动相关技术领網域的持续发展。
然而研究探讨自动出价领網域的难点不仅仅在技术本身,由于各平台对数据的严格保护,且缺乏和工业界比较接近的广告竞价环境,目前针对其高价值问题的研究主要集中在少数几家机构。
就,层层加码,难上加难。
其中,阿里妈妈就是为数不多能够将 RL 在自动出价领網域大规模落地的公司之一,且一直以来都活跃推动自动出价技术发展,先后发布了多个算法的更新。
当然了,当 RL 不够好用的时候,阿里妈妈敢站出来、愿意站出来,开源数据集,期待更多人参与研究,共同推动,优势也不仅仅在技术本身。
从行业江湖的视角来看,它是中国领先的营销平台、拥有数百万的广告主,并且超过 80% 的广告主使用了自动出价服务,它有完整的数据链路闭环,从用户点击到下单过程路径中的数据都能获取到。
阿里妈妈技术同学介绍,为了让更多研究者深入了解广告平台的运作细节,并参与广告平台最核心的自动出价算法的研究,团队建设了一个标准的广告竞价环境,并設定了多种贴近工业界真实场景的特性,包括多坑、多样化的流量价值分布、转化预估不确定性、稀疏转化等。
一位阿里妈妈技术同学对量子位表示:" 希望此 Benchmark 能为学界和工业界提供强有力的支持,也期待通过开源推动决策智能领網域的 AI 技术和应用快速向前发展。"
不得不多说两句,开源的意义,从来都包含共享、协作、共同探索。
还包括一种自信,一种立足前沿头部的自信,一种不惧挑战的自信,一种自己就是 " 源头活水 " 且愿意营造更好生态氛围的自信。
从去年的 DiffBid,到今年在双十一中得到验证的新一代出价算法,阿里妈妈持续引领着行业的创新和变革。
正如在 RL 方法时代一样,阿里妈妈又将在 AIGB 方法时代,以自动出价技术发展的领航者身份再次启航。
GitHub 链接:
https://github.com/alimama-tech/AuctionNet
— 完 —
点这里关注我,记得标星哦~
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~
>