今天小编分享的科学经验：大模型创业太累大牛逃回大厂：融资1亿美金捉襟见肘，没日没夜加班胖了30斤，欢迎阅读。
大模型创业太累，又一大牛决定重回大厂。
Yi Tay，曾是 Reka AI 联合创始人，也曾是谷歌大模型 PaLM、UL2、Flan-2、Bard 的重要参与者。
本周是他回到谷歌的第一周，也是他离职创业一年半之后，选择回归老身份的开始。
他将继续担任谷歌 DeepMind 高级研究员，向谷歌大神、也是他之前的老板 Quoc Le 汇报。
回顾过去这段创业经历，他表示学到了很多，比如基础设施方面的知识、如何从头开始训练大模型等等。
但与此同时，他也经历了一些不那么好的时刻：
公司费劲筹集的一亿多美金，对于一个不到 15 个人的团队仍然紧张，还差点卖身自救。
个人层面，他的身心健康受到了很大影响。由于工作强度大和不健康的生活方式，他还长胖了 15 公斤。
为此他表示：
放弃舒适区并创业对我个人来说真的很可怕。
大牛重回谷歌大厂
去年三月末，他官宣离职谷歌参与创业 RekaAI，并担任该公司的首席科学家。
在此之前，他在谷歌大腦工作了 3.3 年，参与诸多大模型的研究，撰写累计约 45 篇论文，其中 16 篇一作，包括 UL2、U-PaLM、DSI、Synthesizer、Charformer 和 Long Range Arena 等，约 20 次产品发布，妥妥大牛一位。
从技术角度上讲，他坦言学到了很多关于在谷歌没法学到的知识。
比如学会使用 Pytorch/GPU 和其他外部基础设施，以成本最优的方式从头构建非常好的模型。
为此他还在个人网站上分享了相关经验：训练模型的首要条件是获取计算能力，但这一过程就好像买彩票。
并非所有硬體都是一样的。不同算力提供商的集群质量差异非常大，以至于要想训练出好的模型需要付出多大的代价，这简直就是在抽签。简而言之，LLM 时代的硬體彩票。
这与在谷歌使用 TPU 相比，这些 GPU 的故障率让他大吃一惊。
此外他还吐槽外部代码库的质量远远落后谷歌的质量，这些代码库对大规模编码器 - 解码器训练的支持非常少。
但这种持续遇到问题持续解决的经验， 并非痛苦反而很有趣，并且最终凭借着自身技术实力也挺了过来。
在创业初期，他们的旗舰模型 Reka Core 在 Lmsys 首次亮相，就跻身第 7 位，公司排名前五，实现了对 GPT-4 早期版本的超越。
目前他们主要有四个模型，适用于不同的应用场景。
而真正 " 打倒 " 他驱使他离职的，是更为现实的原因。
就公司层面来说，作为初创企业，其资金、算力和人力跟其他实验室相比都要少得多。
就算他们分批筹集了一亿多美金，对于一个不到 15 人的团队仍然不够。
今年 5 月 Reka AI 还被曝出卖身自救，Snowflake 正就以超过 10 亿美元收购 Reka AI 的事宜谈判。
不过现在来看，收购事宜还没有谈成。在 Yi Tay 宣布新动向后，他们紧急发声，现在公司还在积极招人 ing。
而就他个人来说，这是段非常紧张的时期。尤其刚开始创业的时候妻子怀孕，他不得不同时兼顾两边，由此身心健康受到很大的损害。
并且由于高强度的工作和不健康的生活方式，他长胖了 15 公斤。
不过他自己也曾透露过自己有睡眠障碍。
种种原因，他决定重回谷歌，回归到一个研究者的身份。
在初创企业世界探索了一年半之后，我决定回归我的研究根基。
在分享经历的开始，他写下了这样一句话。
回到谷歌之后，他将探索与大模型相关的研究方向，以高级研究员的身份，向大神 Quoc Le 汇报。
在博客的最后，他感谢了创业这段时间始终联系的谷歌老朋友。
并且还特地感谢了在新加坡同他共进晚餐的 Jeff Dean，并且提醒他 Google 很棒。（Doge）
谷歌老同事：欢迎回来
一些谷歌老同事在底下纷纷表示：Welcome back！感觉像是过了十年。
值得一提的是，像这种大牛重返大厂并非个例。
今年 8 月谷歌以 25 亿美元打包带走了明星 AI 独角兽 Character.AI 的核心技术团队，远高于 Character.AI 10 亿美元的估值。
其中包括两位创始人—— Transformer" 贡献最大 " 作者 Noam Shazeer 和 Daniel De Freitas。其中 Noam Shazeer 出任 Gemini 联合技术主管。
这样看起来，对于这些大牛来说，大模型创业确实不易，重返大厂确实是个不错的选择，至少钱够算力够、安安心心做研究。
而随着新一轮的洗牌期到来，更多技术大牛朝着科技巨头聚拢，也已经初见端倪。
参考链接：
[ 1 ] https://x.com/YiTayML
[ 2 ] https://www.yitay.net/?author=636616684c5e64780328eece
[ 3 ] https://www.yitay.net/blog/training-great-llms-entirely-from-ground-zero-in-the-wilderness
[ 4 ] https://www.yitay.net/blog/leaving-google-brain
