今天小编分享的互联网经验:创业父子兵,哈工大毕业生做的AI影像軟體,全球用户超百万,欢迎阅读。
作者丨临风
编辑丨海腰
图源丨 Topaz Photo AI
知名创作人 Dave Clark 的人工智能作品获得数百万次观看。他表示,影像放大的秘密武器除了黑马工具 Magnific AI(详见:2 个人的 AI 公司,1 个半月吸引用户 40 万,马斯克都来点赞),还有 Topaz 这一功能强大的老牌軟體。
2005 年,Topaz Labs 由 Albert Yang(杨峰)在美国德克萨斯州成立,其子 Eric Yang(杨伟雄)于 2008 年作为联合创始人负责网络与营销,父子共同运营公司。Tracxn 显示其投资者包括 Shinhan Venture Investment,未透露时间与金额。
图源:tracxn
据悉,杨峰经年潜心研究影像处理。他曾是哈尔滨工业大学影像处理和模式识别讲师,随后前往加拿大滑铁卢大学修完博士学位。他自 1991 年从事 DSP 工程工作,在 ArrayComputing、Nortel、Opti 等公司担任工程师或架构师,并于 1997 年开始创业。杨峰联合创立了 Techwell(被 Intersil 收购)、Fortemedia,开发低成本 IC 和其他产品,并普及了小型麦克风阵列。他在 2005 年创立 Topaz Labs 后,直至 2021 年退居幕后担任顾问。
Topaz Labs 的官网宣传语是:" 利用 AI 最大限度地提高视觉质量。" 它专注于视频和影像增强,以其图片、视频后期处理的降噪和锐化功能强大闻名。当前,Topaz Labs 的工具包含 Photo AI、Video AI 两类。
官网显示,Topaz Labs 工具组处理了超 10 亿张影像,全球有包括亚马逊、Apple、微软、迪士尼等超 100 万用户。
降噪、锐化不输 PS
近年,AIGC 应用日益增多,在网页和云端 " 卷 " 了起来。Topaz Labs 没走这条热门路径,它与 Adobe 类似,面向影像和视频专业人士提供系列 PC 端 AI 产品。
在专业领網域中,摄影师处理相机照片便会采用 Adobe Photoshop 和 Lightroom、Camera Raw、DxO Optics Pro、Capture One、Topaz 等本地軟體,根据喜好进行细节调整 Jpeg 或 RAW 格式照片的细节。其中,Topaz 产品中去噪和锐化功能广受好评。有用户评论:" 即使是裁剪严重的废片,Topaz 也可能将无用变为可用。"
从产品介绍来看,Topaz 的軟體有 3 种架构。
其一是独立的应用程式,每一款軟體专注一个功能,安装电腦本地后使用。至今,Topaz Labs 推出的产品包括 Topaz Studio(专业影像编辑器)、Topaz Adjust AI(HDR 渲染)、Topaz Sharpen AI(智能锐化)、Topaz Gigapixel AI(图片无损放大)、Topaz Enhance AI(视频无损放大)、Topaz DeNoise AI(图片降噪)、Topaz Mask AI(抠图)以及 JPEG 转 RAW 等。
其二是在 Adobe Photoshop、Lightroom 种作为滤镜插件合作使用。通过打开 PS 或 LR 的编辑方式来使用插件。
其三是集成上述产品功能后的编辑器,如 Photo AI、Video AI。photo AI 的套组工具能实现 AI 无损放大、影像高清,降噪、抠图、调色、转格式等。Video AI 则能放大增强、去除隔行、运动插值补帧和抖动稳定。其新产品 Gigapixel7 专注于利用 AI 无损放大影像。
2022 年 9 月,Topaz Labs 整合了 DeNoise AI、Gigapixel AI 和 Sharpen AI 三种功能推出 Topaz Photo AI,主打放大、降噪和锐化,并能添加真实细节,帮助提高 RAW 檔案的基本质量。据称,已购买这三种功能产品的用户可自行领取安装包。
放大功能,图源 Topaz Labs
降噪功能,图源 Topaz Labs
锐化功能,图源 Topaz Labs
据介绍,该工具軟體摒弃了 Photoshop 界面的繁琐应用,独立程式中留下三个功能按钮和图片预览界面,也可以作为 Photoshop 的插件运行。使用者上传图片后,Topaz Photo AI 将自主扫描照片主体和人脸,并用黄色框与红色遮罩标记,其 Autopilot 分析影像的噪点、失焦、模糊、低分辨率和镜头畸变等缺陷后进行自动校正。
自动处理后,用户可以继续编辑,如其可在锐化中自由选择 5 种 AI 模型,进行参数调试。
再来看实际使用效果。以一张街边流浪猫的影像为例,选用放大至 2 倍、降噪功能后,能明显看到影像分辨率提升,猫的毛发线条清晰。美中不足的是,若全图选用智能放大,地面也呈现了与毛发类似的纹理。
图:图为 Photo AI2.3.1 版本界面,设备为英特尔 i7,8GB RAM。(注:图片处理效果因设备而异,样图仅作参考,原图来源作者自摄。)
在锐化方面,与 Photoshop2024 智能锐化对比,Topaz Photo AI 的成像结果自然一些,没有过度曝光。
图:左原图,中 Photoshop2024 智能锐化,右 Topaz Photo AI 锐化
在降噪方面,摄影师 Mike Tomkins 在 Dpreview 中评测对比了摄影界推荐的 RAW 处理器 DxO PhotoLab 的 DeepPRIME 与第一版 Topaz Photo AI 的降噪效果。
原图
左:DxO-DeepPRIME,右:DeepPRIME-XD
左:topaz-remove-noise-normal,右:topaz-remove-noise-strong
对比两者降噪效果可以看出,DeepPRIME-XD 图片效果最好,其色调较原图更加明亮,纹理图样清晰。但不可否认 Topaz Photo AI 增强版保留的木质实感更强,在噪点嘈杂的影像中留下了干净可用的结果,但色调昏暗。
Mike 对比后指出,Topaz Photo AI 影像修复与 Photoshop 相比,在纠正曝光和白平衡方面存在缺陷,即对曝光严重不足、过度曝光、动态范围极端、色偏过大的影像无法自动修设备要求复。
Topaz Photo AI 定价为 199 美元一套,2023 年 9 月更新至 Photo AI 2。官网显示,第二版修复了第一版的照明问题,能提升弱光、非典型环境、快速移动中的拍摄对象的视觉质量,这一版也推出了模糊人脸细节增强功能,并表示将很快推出消除干扰功能。
色彩平衡功能,图源:Topaz Labs
人像增强功能,图源:Topaz Labs
然而,Photo AI 2 在 " 调整照明 " 和 " 平衡颜色 " 方面做的更新没能全然赢得好评。尽管摄影爱好者 Parker 推荐 Photo AI 2,他也同样赞同," 我在将照片导入 Photoshop 的过程中已经矫正镜头、调好了曝光和色彩平衡,Topaz 应该专注于他们擅长的降噪和锐化。"
对其主打的降噪功能,有摄影师评价,希望能使用完全手动的 Photo AI 遮罩笔刷来实现微调,实现更多的用户控制。如果照片的噪点修复完全由算法控制,将会出现过于平滑的处理,反而 " 牺牲 " 了一些重要细节。
对此,其另一主要技术 Topaz Gigapixel AI 专注影像放大增强,目前独立产品已更新至 Gigapixel7。产品描述表示其能增强毛皮和羽毛的细节、改善边缘锐度和清晰度、平滑边缘及添加真实、自然的细节。据用户评测,独立产品细节处理较 Topaz Photo AI 出色。
此外,2023 年 11 月,Topaz Video AI 4.0 最新版本发布,定价为 299 美元一套。它集成了修复、插帧、降噪等多种功能。据官网介绍,Video AI 界面与 Photo AI 类似,由 2 个预览 UI 并排组成,其对视频增强提供了 6 种模型,能做到将 360p 视频提质至 4K,16 倍慢动作镜头转换,进行 120FPS 插帧,稳定比赛运动镜头,去除快速移动场景模糊,增强面部修复,以及基本的画面降噪等。
图源:Topaz Labs
需要注意的是,Topaz 系列产品对电腦设备有处理器和显卡要求,如 Photo AI 需要 NVIDIA GTX 980 Ti 或更高版本,Video AI 需要 NVIDIA GTX 900 或更高版本。
设备:Photo AI,图源:Topaz Labs
设备:Video AI,图源:Topaz Labs
10 年研究,24 年创业
对 DSP 和影像处理,Albert Yang(杨峰)在学界和业界已深耕多年。他从 1997 年开始创业,2021 年退居幕后,在音频、影像领網域留下优质产品。
领英,色彩为原图效果,图源:Albert Yang
1982 年,哈尔滨工业大学文字研究室成立,研究汉字、图形、语音、计算机控制研究。彼时,杨峰从哈尔滨工业大学本硕毕业,在组内做中文语音识别研究,并开始在校担任多年 DSP、模式识别和影像处理的课程讲师。之后,他前往加拿大滑铁卢大学进修计算机视觉博士学位。
毕业后,杨峰的就业经历不是非常顺利。
1991 年,杨峰在加拿大的第一份全职工作,是在 Array Computing 做卫星成像、声呐和基于 DSP 的雷达扫描转换器。他在通电缆时从办公室的天花板上摔了下来。工作一年多,杨峰身体状况不算太好,很快失业了。
幸好朋友 Yalin 雪中送炭,介绍杨峰到 Nortel 担任托管安全服务軟體架构师。杨峰进入的是 Nortel 重要部门 DMS,后来辗转调换部门,工作 4 年。杨峰在领英描述:" 到最后,我发现我并不适合大公司的环境。"
辞去工作,杨峰去一家专研芯片初创公司 Opti 当高级 DSP 工程师。当时,英特尔 CPU 称霸市场,Opti 也转向笔记本芯片组,但失败了。杨峰知道公司正在走下坡路,一眼望得到头。
当机立断,1997 年的夏天,杨峰开始自己的连续创业之路,这一次他亲手打开有声有色的新篇章。
他来到加州,联合创立半导体公司 Techwell,担任了 4 年 CTO,在模拟 IC 年代开发混合信号视频处理 IC,用于处理录像机、汽车仪表盘和后座 LCD 视频芯片。2006 年 Techwell 在纳斯达克 IPO,2010 年被 Intersil 以 3.9 亿美元收购。
2000 年,他在硅谷联合创立 Fortemedia,担任 CTO,研究小型麦克风阵列在语音识别早期阶段集成入计算机和免提电话中,接收清晰的信号,让其专业语音消噪芯片具有性价比。" 现在我看到许多产品配备了两个或多个麦克风,都不免微笑。"
图源:Fortemedia
因为家庭原因,2005 年,他回到达拉斯,摄影这项业余爱好也被捡了起来。杨峰从音频领網域走向影像处理领網域。
他在播客中表示:" 音频信号处理和语音降噪和影像处理各有特点,而总体上非常相似。"
因不满意现有影像后期工具,杨峰动手做了插件并发布至互联网,得到了其他人的关注,Topaz Labs 由此而来。
杨峰表示:" 在过去,去噪是一种艺术,也是一种技能。有效去噪并保留细节,对摄影师来说非常有价值。" 据透露,"Topaz" 名字来自《暗黑破坏神 2》中的黄宝石,主要用于给装备镶嵌提升战力,因此 Topaz 创立初衷是缩小新技术与摄影师有效工具的差距。
图片去噪成为 Topaz Labs 的招牌功能,2008 年,杨峰首次演示了 Topaz DeNoise,自此,它已成为部分专业人士影像恢复和编辑的主要工具。
他称,Topaz Labs 是第一个将深度学习用以超分辨率产品化的公司。
20 世纪 90 年代,超分辨率这个术语在研究领網域开始流行,通常指运用多个影像的信息在一个更大的影像中恢复细节。
然而,早期算力无法实现超分辨率。早在杨峰博士论文期间,他就发现使用属性图描述场景完成物体识别非常艰难,杨峰开始做深度学习项目,尝试用神经网络做基本特征检测。杨峰回忆," 人类深层神经网络通常上百层,当时我尝试以两层神经网络在一台大型计算机上训练了几个月,也难以让机器人完成计算机视觉任务。"
2012 年,AlexNet 使用两块英伟达的 GPU 来为模型提供算力,打响深度学习在计算机视觉领網域研究热潮 " 第一枪 "。GPU 也让 Topaz Labs 有了真正的改变。" 我对一个游戏级别的 GPU 的处理能力都感到惊讶,更不用说计算机专用的 GPU 了。"
Topaz Labs 和英特尔合作开发了 Gigapixel AI 发行版,使用人工智能和深度学习方法放大和深度学习来放大影像。据称,Topaz Labs 为主要产品 DeNoise、InFocus 等提供价值超 800 万美元的免费更新,更新为 DeNoise AI、Sharpen AI 等(2020 年转向付费)。
" 从理论上来讲,信息无法逆转,图片损坏不可逆,AI 和深度学习完全改变了这一点 ",杨峰说。
2019 年 1 月,杨峰发文表示 Topaz Labs 结合 AI 已成功做出 "JPEG 到 RAW" 这一不可能的逆转。他在文中写道,人们使用相机拍出的图片转为人类眼睛色彩 50% 的 sRGB,在经过 JPEG 压缩后数据量再减少。而 AI 经过人工神经网络学习大量原始影像后增补细节。Topaz Labs 在增强(Gigapixel)和降噪(Clear)的研究基础上加上了经验整的网络架构,实现了让成图 " 看起来 " 和 RAW 影像一样好。
图源:petapixel
杨峰指出其深度学习研究能在影像和音频信号处理领網域成功的原因,是因为有大量可用的数据训练,以及 GPU 带来的根本性改变。
值得注意的是,尽管已有更便捷的云端技术,在应用端口上 Topaz Labs 依然选择开发 PC 端軟體,如近年的 Video AI。2020 年,英伟达播客主持人 Noah 评价:基于计算机本地的深度学习应用非常少见,因为难以开发,并涉及许多兼容性问题,所以很多开发者选择云端解决方案。杨峰对此表示,在 PC 端图片和视频的后期处理有更大的空间。
子承父业,收入增长
2018 年,Eric Yang(杨伟雄)接替父亲杨峰处理 Topaz Labs 业务。杨伟雄毕业于德克萨斯州麦库姆斯商学院,相较影像处理 " 科班出身 " 的父亲,他更多地偏向营销与市场。
Eric Yang,图源:foxbusiness
父子联合创立 Topaz Labs 的时间正好处于杨伟雄大学毕业前后。杨峰做研发,杨伟雄帮着搭建网络,做营销宣传。他曾与朋友创立摄影网站 PhotoWhoa,也曾在 YC、红杉支持的初创公司 Snapdocs 担任工程师,在积累经验后回到 Topaz Labs。
正是在杨伟雄接替后,Topaz Labs 的系列 AI 产品问世。
回看父子轮换 CEO 前的 Topaz 产品可以发现,杨峰一个工具一个定价。他是 " 技术者 " 思维,结合深度学习模型开发軟體,给予专业用户在编辑器上兼具灵活性与创造性的调整,如影像后期处理 DeNoise 附带调整颗粒、颜色矫正、阴影和高光控制滑块,满足专业人士对后期的细调需求与控制度。
杨伟雄是生意人,他转变了产品思路,转向付费更新。他去掉或整合了之前的微调组件,形成套件 Photo AI、Video AI,打包售出。杨伟峰认为应该将更多的修复工作交给 AI。在他看来,人工智能軟體与传统编辑器有关键的不同——人工智能軟體是 " 描述性 " 的,人们制定期望结果,軟體将自主实现过程,人类负责掌控大局,即享受 " 一键修复 / 增强 " 的便利。
杨伟雄在 Foxbusiness 的采访中表示,"2018 年,用于影像增强的深度学习模型首次被证明具有商业可行性。自此,人工智能工具将稳步取代从前的工具。"
2020 年,Topaz Labs 决定专注影像质量类应用,并停止开发 Adjust AI、Mask AI、Jpeg to Raw AI 与更新 Clean、DeNoise 等经典插件,宣布对 DeNoise AI、Sharpen AI、Gigapixel AI 和 Mask AI 的产品更新收取费用。
有老用户评价:" 这是 Topaz 将所有鸡蛋放在 Topaz Photo AI 的篮子里。"
工具使用门槛 " 变低 " 有效扩大了使用人群。Topaz Labs 在招聘细则中称,在过去 4 年内其收入实现了 1000% 的增长,并拥有包括 Apple、NASA、Netflix 等超 100 万用户。
Topaz Labs 的 AI 产品研发,还在继续。杨伟雄推测,这类 " 描述性 " 人工智能编辑軟體的 " 真正价值 " 将使人类摆脱先前 " 粗糙工具 " 的技术限制。
本文为创业邦原创,未经授权不得转载,否则创业邦将保留向其追究法律责任的权利。如需转载或有任何疑问,请联系[email protected]。