今天小编分享的科技经验:AI数据告急,大厂盯上廉价年轻人,欢迎阅读。
为了拿到新数据、训练 AI 大模型,字节等互联网大厂正在亲自下场,以单次 300 元不等的价格招募 "AI 录音员 ",定制语料库。
坐落于北京大钟寺的字节办公楼,集中了字节的抖音业务团队和火山引擎业务团队,从年初便开始招募素人为豆包大模型录音。两人结组、单次 3 小时,包括 80 分钟的自由聊天,有提示词的 60 组对话,单次结算金额为 300 元。
长达 3 小时的录音,有至少 2 名字节员工全程陪同。" 对话不能水时长,要有内容和信息,质量太差会酌情扣款 "," 不能修改提示词,大模型理解不了 "。从晚上 6 点到 9 点,字节员工在录制过程中的指令,则更多透露着对于录音质量的关注。
图注:大钟寺录音室内部图
实际上,成都、太原、贵州等二线城市,早已成了字节、百度、阿里等大厂的 AI 数据外包之城。" 去年,数据标注、方言朗读,专科生就能做。现在招的都是 211、985 的实习生带外包。" 某大模型产品经理表示。
在 9 月刚刚推出视频大模型的 MiniMax,其创始人闫俊杰告诉字母榜,在上海,除了语料公司的高质量数据之外,MiniMax 也会采购一些平台化数据。
数据、算法和算力是 AI 大模型的三大支柱,其中数据是大模型进行训练的根基。但由于互联网数据散布在不同平台,并被重重壁垒所环绕,AI 大模型可以用来训练的公开数据正在走向枯竭。
6 月,研究机构 Epoch AI 发布了一项新研究预测,可用于 AI 语言模型公开训练的数据,将在 2026 年到 2032 年间,被科技公司耗尽。而早在 2023 年 5 月,OpenAI 首席执行官阿尔特曼便公开承认,AI 公司在不久的将来会耗尽互联网上所有的数据。
如何寻找高质量的新数据 " 喂养 " 大模型,成了所有 AI 大模型团队的共同难题。
由于存在擅自使用第三方数据的嫌疑,一些大公司屡屡陷入纠纷。8 月,OpenAI 被超过 100 位 YouTube 主播集体诉讼,指控其擅自转录了数百万个 YouTube 视频来训练大模型。英伟达、苹果、Anthropic 等巨头也涉及其中。
对于大厂而言,拥有自己的闭源高质量数据,才能保证喂养大模型的数据时效性和质量。而跳过品控不稳定的第三方平台,试图亲自下场为 AI 写 " 剧本 ",或许是大模型厂商们的一条新路子。
今年初,在小红书等平台上,悄悄出现了标价 300 元一次的 AI 录音兼职。
相比起 BOSS 直聘等平台 30-55 元时薪的 AI 录音兼职,300 元单次、录制地在北京大钟寺的所谓 " 头部大厂录音兼职 " 显得颇具诱惑力。
8 月,通过微信被拉到录音群内时,字母榜(ID: wujicaijing)发现群内已经有了 200 多名等候录音的人。由于规定为 2 人一组录制对话,时间长达 3 小时,进群后," 找搭子 "" 有人和我一起录吗?" 的微信消息弹出的最多。
而实际上,300 元一次,做 AI 录音员," 给 AI 写剧本 " 并不轻松。
首先在录音前,所有人都必须上传一段 2-3 分钟的对话录音做 " 样音 ",字节的审核人员要通过样音的效果来决定是否通知兼职录音。而这个过程会有 3 名员工负责审核,其中 2 名员工审核都通过,才能直接预约录音时间,如果不通过,还有交叉审核。
在样音二审过后,张雪在提交样音的第二周预约了晚上 6-9 点的录音时间。而在群聊内,不少人都被卡在了样音环节," 审核老师喜欢能聊的,爱聊的。" 情绪高昂的对话,内容有主题,让更多的人卡在了筛选的第一道门槛。
图注:大钟寺录音群
图源:字母榜截图
录制当晚,张雪隔着录音室的透明玻璃坐在椅子上,调节到语音能够被清晰录入的最佳位置,通过耳机收听字节员工的指令。
第一个环节,就是两人 80 分钟的无主题自由聊天。而字节人员的要求,则是聊天不能是 " 片汤话 ",要有内容,同时每个话题都不能超过 10 分钟,并且不能出现大段大段的独白,要保证是相对平均的对话状态。
张雪和搭档在录音室内隔着巨大的头麦对谈,尽量不停顿地谈话 80 分钟。同时,还要尽量克制身体不能乱动,发出咳嗽声、笑声等扰乱录音质量的声音。
为了保证语音质量,字节人员通过耳机不时插入,提示出现了杂音要重新录制,或者聊天 " 不自然,引导痕迹过重 ",也要重新录制。高质量语音的标准是聊天自然、话题连续,情绪积极但不能抢话,还要有内容、不流水账。经过反复重调,第一个环节就花费了近 2 个小时的时间。
而到了第二个环节,要录制有提示词的 60 组对话。尽管有了剧本可供参考,但作为 AI 录音员,张雪不仅要根据情境编对话,还要保证严格的对话模式,即上一组对话是 A 结束收尾,那么下一组对话必须由 B 开始。
同时,为了适应大模型的调试需求,每一次的指令都必须清晰明确地说出提示词," 可以详细一些吗?可以更详细一些吗?可以再详细一些吗?" 而在耳机内,字节人员也明确表示,剧本都可以改,但只有提示词不能动,换个说法,AI 就可能难以识别。
为了保证录音质量,录音不清晰、吞字或者情绪不足,都会重新录制。等录制结束,张雪离开大钟寺,时间已经走到了晚上近 10 点。而一次 3 小时的录音,字节人员一天要录制 3 场,每周的日程几乎都是满的。
除了北京,字节已经在上海、杭州、重庆、南京、成都、天津等多个城市招募录音员。
对于渴求新数据的大模型厂商们来说," 砸钱拿数据 " 的操作并不新奇。
2023 年,随着 AI 大模型成为新风口,大厂们不仅直接通过第三方公司购买数据,也创造出了 " 大数据标注师 "、"AI 编辑 " 等外包岗位。
2023 年,小语种专业的阿琳,在考研期间就通过 BOSS 直聘等网站,开始为大模型 " 打工 "。
通过一家叫做 "X 数据 " 的公司,阿霖为大模型图片识别的文字内容做验收,即检验大模型图片识别后的小语种文字是否与图片一致。按照 " 一个词或一句话算一个核算框,一个框算 1 毛钱 " 的价格,核算几百条,阿霖一次能赚几十元。
到了今年,阿霖同样通过第三方的数据公司接单,做翻译类的 AI 数据标注,价格涨成了 1 元多一条。但要人工判断大模型翻译出的法语等小语种是否准确,标注员不仅要找出错误之处,还要用不同的颜色,对 5-6 个大模型的翻译内容进行标注。" 有时看一条得花 10-15 分钟 "。
为 AI 打工之后,阿霖也发现,这些大模型,一旦脱离了原本小语种的教科书语料库,对于社交平台新的用词,或者小众人群的惯用词,即自身的数据库没有收录,大模型就开始降智," 受限于版权,学不到新的文本内容,翻译效果也受影响。"
除了第三方外包公司,大厂也建立起了自己的数据基地。
例如,百度的数据基地分布在如南昌、阳泉、太原、贵州等非一线城市,并在这些城市完成数据标注、方言朗读等数据的采集,只需 " 招一些当地的专科生,会操作电腦就行。月工资也往往在 3000-5000 元之间。" 美团也早就有了自己的驻厂 AI 训练师。
不过,相比起舍得砸钱的大厂,大模型四小龙们想要拿到高质量数据,难度高了不少。
" 核心的闭源高质量数据,往往都已经被大厂垄断,AI 创业公司,甚至是 AI 四小龙,都可能只能拿到边缘数据。"某大模型厂商的算法人员 Leo 告诉字母榜。
由于高质量数据能够显著提升模型效果,因此,在开源的公开数据数据之外,大模型厂商们为了实现技术迭代,需要更高质量的数据完成训练。但这些数据往往被大公司把握,如国内的新闻数据掌握在腾讯、字节等大厂内部,海外则由 Common Crawl、GDELT、The Pile 等占据。
在海外,即便是 YouTube,也在 6 月底宣布,将向顶级唱片公司提供许可協定,以换取版权音乐用于训练。OpenAI 一直在与 Politico、《大西洋月刊》、《时代》、《金融时报》等新闻出版商达成付费協定,使用并引用它们的新闻资料。
当关键数据主要掌握在 " 渠道方 " 内部,比如腾讯、字节和 Meta 等公司,关键用户数据早在移动互联网时代被瓜分完毕,要想实现技术突围,AI 四小龙首先就得交一笔不小的 " 数据费 "。
对于厂商们来说,行至大模型创业下半场," 大数据幻觉 " 也是大模型集体降智、测不出 9.11 和 9.9 哪个大的原因之一。
当字母榜在 MiniMax 的海螺 AI 内输入 " 一个小女孩怀里抱着一只布偶猫 ",耗时 2 分钟,生成的 6 秒视频内,小女孩抱猫咪的手指细节丰富,只是怀里抱着的,并非是一只布偶猫。
面对生成结果,MiniMax 的视频大模型员工解释," 这是因为用于训练大模型的数据,在猫咪的绑定图片里,并没有布偶猫。"
当模型生成的内容与现实世界事实或用户输入不一致,即大模型出现幻觉,开始 " 胡说八道 "。对于渴望新用户的大模型厂商而言,生成效果显然决定了产品是否有机会出圈。
" 输入的指令是提取 8 月所有娱乐新闻,结果 AI 生成的是 2019 年 8 月的娱乐新闻内容。" 在使用某头部大模型产品时,忠实用户孔昉已经抓到了好几次 AI" 胡言乱语 " 的瞬间,或是编纂出根本不存在的引用文献,或是不能理解近两年的新概念,这让孔昉对大模型产生了信任危机。
现在,孔昉会同时用 2-3 个不同厂商的大模型 " 跑 " 同一个问题,然后交叉对比,对于时间、数量、文献等关键信息,也会通过搜索引擎二次确认," 现在 AI 生成很像抽卡,效果不可控,而且还容易智障。" 孔昉无奈道。
而高质量数据或将逐渐耗尽,想要解决 " 大模型幻觉 " 问题,拿什么数据来 " 喂养 " 大模型,显然颇为关键。
某接近百度的人士告诉字母榜,大模型厂商们都会通过三方公司直接购买数据,省时省力但并 " 不省事 ",就是因为购买来的数据,无论是文本、录音还是视频,质量都是不可控的。
对于积极发展 B 端客户的头部大模型而言,针对某个客户,更个性化地定制大模型成为如今大厂 AI 业务主要的收入来源。但想要训练出这样个性化的模型,就需要相应高标准筛选下的数据来 " 喂养 ",甚至根据不同阶段大模型的学习效果,进行数据需求的调控," 不是随便买一堆语音来,大模型就能学会的 "。
在某三方数据工作做过 AI 翻译的阿霖也发现," 作为提供数据的甲方,她所在的公司似乎并不真的关心大模型生成的语音质量。"
对于专攻法语、西班牙语等小语种的阿霖来说,她需要为甲方同时对比 5-6 个大模型将小语种语音翻译成文字的生成效果,但只需要粗略得打分,对于生成的 5-6 份文字,到底有哪些细节的语言差异,能够如何改进,三方公司并不会询问," 漠不关心 "。
而缺乏高质量数据,或许也正是不少用户表示 " 用哪家的大模型生成的内容都差不多 " 的原因,也正是用户一旦 " 一家大模型收费,就直接换另一家 " 的根因。
对于用户而言,宣称追赶 OpenAI,在技术上持续迭代的国产大模型,或许并无实质差异,也谈不上成为忠诚用户,这也给急着商业化的大模型厂商们蒙上了一层淡淡的阴影。
因此,即便亲自下场 " 为 AI 编剧本 " 费时费力又费钱,字节也趟出了一条新路子。而可以预见的是,为了解决商业化和用户拉新的关键问题,大手笔咬牙 " 买数据 ",恐怕将成为大模型厂商们的新赛点。
(文中阿霖、孔昉、张雪为化名)