网易首页 > 网易科技 > 科技频道 > 正文

谷歌是如何做到让计算机自动围绕照片讲故事的

0
分享至


随着智能手机的兴起,人们拍下的照片越来越多,不过他们却鲜少花心思去整理它们。针对这种情况,谷歌Google+上打造了一款名为Stories的工具,来帮助人们将照片整理成一个个的故事。国外媒体近日撰文指出,这一任务对人们来说很容易,但要让计算机自动操作却极为困难。那谷歌的团队究竟是怎么将Stories打造出来的呢?

以下是文章主要内容:

看似容易的任务

在谷歌内部,一小团队在试图解决一个对普通人来说轻而易举,但对于全球数据最多的公司却极其困难的问题:讲故事。

谷歌想要解决一个我们都明白的问题。人们在手机上拍了无数张照片,实际上却不怎么处理它们。有一部分被精选出来发送到Instagram上,大部分还是被积压在手机相册,拍下来之后就几乎“不见天日”。

“你一趟旅行下来拍了300张照片,但没有东西帮助你好好整理下它们。”谷歌社交网络工程师约瑟夫·斯马尔(Joseph Smarr)说道,“想想人们处理那些照片的方式,主要就是不进行任何的分享。第二大处理方式是分享一小部分到诸如Instagram的社交网络。而最糟糕的是,他们将所有的300张照片全扔到一个相册里。这对于围绕照片讲故事毫无意义,它们只不过是一堆照片,就像是单调乏味的鼓声。”

因此,斯马尔和他的同事——产品设计师布雷特·利德(Brett Lider)和用户体验设计师Clement Ng——给自己定了一项任务。他们想要打造会有韵律且流畅的、带来“真正的讲故事”感觉的软件。

他们的解决方案是Google+很棒的照片工具的一部分,提供给所有的谷歌用户。该产品名为Stories,它可自动将用户上传的照片整理成故事

你可能觉得这很容易,但那是因为你是人。赋予机器感知故事和位置的能力绝非易事,即便可以动用谷歌掌握的所有用户信息。

The Atlantic 近日采访了Stories的开发团队,了解产品开发的背后,并开始思考其对计算机理解人类的能力对人们生活的意义。

叙事性传记概念的诞生

产品早期的原型看起来跟最终的成品大径相庭。

最初,斯马尔和利德开发出了某种更似个人成绩报告单的东西——只是编撰出一堆数据。2012年5月的一个设计模型展示了利德的签到和徒步旅行数据、与人的互动和喜欢的音乐。它相当全面具体地显示了一个人的信息,而且信息都是经过精心巧妙的选择和整理的。该理念在于,仅针对一个人打造出某种类似于Facebook动态信息(News Feed)的东西:通过算法精选出的个人信息。

但那只是产品模型。据斯马尔称,当他们开始思考可以借助谷歌所有的用户数据和所有的信息处理能力打造出什么产品来的时候,他们发现了一点:“我们的历史是嘈杂的,且不完整的。”与此同时,他们在改良他们的概念产品。他们反复研究相片。

利德展开用户小组研究,让人们谈谈他们最近拍下的10张照片。为什么拍那些相片?给谁拍?

根据人们的回答,可以将他们分成三类。第一类是给别人拍照,第二类是为了留念而拍照,而第三类是“记录冒险经历”。利德说,问他们实际上多久使用一次他们所拍的照片,“记录冒险经历”的那一类人付诸行动的比例最低。

前两类人都使用与照片相关的应用与服务,比如通讯类应用和笔记应用Evernote。

而记录冒险经历的那一类人呢?他们甚至都没有App Store应用。事实上,他们倾向于责怪自己没有去处理所拍的照片。他们说自己太懒没有给朋友传相关的照片,或者没有好好去回味欣赏那些照片。

斯马尔、利德和Clement Ng开始意识到了机会。于是利德展开更多的用户测试。他让参与的用户整理冲印出来的相片。

他就是叫他们在台面上整理好相片。大多数参与者都是从左到右按时间顺序摆放相片,他们将同一个地方拍的照片集中在一起,甚至在每一个位置相册的开头都放置相关位置的一张“定场镜头”相片。

利德意识到,这并不是相册,也不是拼贴画,而是某种叙事性传记。于是,他开始去研究叙事性传记的历史。该研究也促使他们以18世纪英国作家塞缪尔·约翰逊(Samuel Johnson)的传记作者詹姆斯·鲍斯维尔(James Boswell)的名字作为该项目的代号:Project Boswell。

利德说,“叙事性传记是19世纪开始出现的。在那之前,传记只是简单罗列些日期和‘所谓的事实’,后来名人和富人开始委托传记作家给自己撰写叙事性传记。当中最有名的传记作家便是詹姆斯·鲍斯威尔。”

“所以我们当时在想,要是我们能够大众化叙事性传记会怎么样?谷歌和科技的一大贡献在于,给普通人带来以往仅属于精英阶层的东西。因此,我们觉得,我们可以成为你的私人叙事者,成为你的个人传记作者,帮助你串联起你的生活中令人兴奋的点滴故事。”

斯马尔补充道,“我们喜欢成为帮助你追踪生活经历、记忆你去过的地方的小代理人的设想。”

“如果说Google Now是你的实时助手,”利德继续说道,“那么Boswell就是你回顾过去的助手。”

“如果说Google Now是你的助手,那么Boswell就是你的朋友。他会与你一道同行。”Clement Ng说。

于是,他们有了这么一个概念:将叙事性传记功能带给每一部智能手机。

概念执行

“接着,我们开始试图思考具体如何执行,”斯马尔说,“我们能否自动地将这些照片串联起来,挑选出最好的照片,识别它们的拍摄位置,猜测故事开始和结束的时间,并确定故事标题?”

这听起来也许很简单:结合利用智能手机的数据和照片来串联故事。假如用户将照片上传给谷歌,当中一部分是通过智能手机拍摄的,谷歌会从中获取位置数据、视觉线索和时间指示。

不过,有些照片是来自没有GPS功能的相机,有的照片日期戳是错误的,有的位置数据不正确。

“你面临的就是这样的数据流,有时候数据太多,有时候数据偏少,有时候数据很全,有时候却很不完整,而你要做的就是试图去搞懂它们。”斯马尔说道。

倒有三种对Boswell机器人很有帮助的信号。首先是照片的地理标记,即那些标示人的确切位置的照片。其次是Google Now或者谷歌地图数据,它们可带来用户去过的地方方面的信息。最后一个信号最酷:该团队能够通过对特定路标进行机器视觉分析来推断用户的位置。例如,如果你去了纽约,且给著名的熨斗大厦拍了照片,那谷歌就能识别出它所知道的地标,标记出该位置,即便照片是用不支持嵌入位置元数据的相机拍摄的。

Stories还有一些值得一提的细节。首先,照片是从左到右排列的,根据利德的研究,这样符合人们翻阅剪贴簿的方式。从移动设备上看,一系列的照片进行了全景和缩放处理,底下附有标题以及一支鼓励进行个性化处理的小编辑铅笔。

对于识别出的每一个位置,Stories都会加上一张该位置的环形图片;它与谷歌相链接,因此用户或者他们的故事分享对象都可以专门就行程中的相关景点研究一番。

手机上的那些照片在滚动浏览的时候还带有一点“晃动感”。这是很不错的效果,或许也符合谷歌的“material design”设计理念。感觉它们是放在某种跟屏幕背景不是完全齐平的东西上,如此一来强化了翻阅剪贴簿的感觉。

与照片尺寸与形状完全一致的Instagram不同,Stories使用各种不同的尺寸与形状的照片。它上面还有动画效果。“背后的理念是,让你觉得它们是出自人的双手,而非机器。”Clement Ng说道。

它确实可带来那种感觉,确实能够给一款并非十全十美的产品带来助力。虽然有时候谷歌生成的故事不如预期,或者包含不匹配的照片,但那些个性化的小故事相比普通的软件产品还是更能引起共鸣。人们或许会体谅Boswell的不足。至少它有努力去围绕大家或许意义不大的经历生成故事。

“我们在试图呈现人们的经历的精华部分,”斯马尔指出,“相比单纯地给用户复述数据,提炼出精华部分要更加困难。”

译者:乐邦

百度新闻与网易科技合作稿件,转载请注明出处。

相关推荐
热点推荐
乌克兰军官:说好的防御工事呢?怎么俄罗斯人直接走了进来

乌克兰军官:说好的防御工事呢?怎么俄罗斯人直接走了进来

观察者网
2024-05-13 16:22:04
问界M7高速上拉起遮阳挡自动驾驶后续 车主发视频致歉

问界M7高速上拉起遮阳挡自动驾驶后续 车主发视频致歉

三言科技
2024-05-13 16:43:05
陕西检察长陈平疑案:死前喊冤,被枪毙后家属不能收尸,直接火化

陕西检察长陈平疑案:死前喊冤,被枪毙后家属不能收尸,直接火化

午夜故事会
2024-04-15 18:31:39
禾赛科技起诉美国国防部 要求将其从名单中移除 或者宣布该名单违宪

禾赛科技起诉美国国防部 要求将其从名单中移除 或者宣布该名单违宪

每日经济新闻
2024-05-14 19:36:58
《庆余年2》杀来:海棠朵朵变美,叶灵儿尴尬,颜值最高的司理理哪去了

《庆余年2》杀来:海棠朵朵变美,叶灵儿尴尬,颜值最高的司理理哪去了

娱乐的小灶
2024-05-15 02:47:38
《庆余年2》首播:范闲、庆帝大变样,五人大换脸,言冰云最可惜

《庆余年2》首播:范闲、庆帝大变样,五人大换脸,言冰云最可惜

全球历史观
2024-05-14 10:37:11
好消息,NBA名记:湖人会给詹姆斯想要的合同,选中布朗尼满足他

好消息,NBA名记:湖人会给詹姆斯想要的合同,选中布朗尼满足他

好火子
2024-05-15 03:07:54
40、50女人夏天穿搭别追求少女感,简约高级就好,气质稳赢

40、50女人夏天穿搭别追求少女感,简约高级就好,气质稳赢

白宸侃片
2024-05-13 20:11:13
超算预测英超最终积分榜:曼城91分夺冠,切尔西第7曼联第8

超算预测英超最终积分榜:曼城91分夺冠,切尔西第7曼联第8

直播吧
2024-05-14 12:12:17
准女婿骗丧偶岳母冲喜,两人多次发生关系,自愿还是强奸?

准女婿骗丧偶岳母冲喜,两人多次发生关系,自愿还是强奸?

刚哥说法365
2024-05-01 01:14:55
拜登被曝将对华加征高额关税,不到24小时,中美达成重要合作共识

拜登被曝将对华加征高额关税,不到24小时,中美达成重要合作共识

贺文萍
2024-05-14 12:35:03
没法收场了,挖沟拆房,全程扫射开路:数千哈马斯意识到情况不对

没法收场了,挖沟拆房,全程扫射开路:数千哈马斯意识到情况不对

帅先工场
2024-05-13 18:04:39
“被人袭胸,意外走光”这些女星做游戏也未免太投入了吧?

“被人袭胸,意外走光”这些女星做游戏也未免太投入了吧?

阿芒娱乐说
2024-05-15 05:34:29
越闹越大!干部半夜喊他人妻子唱歌:副镇长身份被扒,果然不简单

越闹越大!干部半夜喊他人妻子唱歌:副镇长身份被扒,果然不简单

飞哥AI矩阵
2024-05-14 10:57:19
河南大市网红书记落马,曾多次倡导“店小二精神”

河南大市网红书记落马,曾多次倡导“店小二精神”

融通天下
2024-05-14 23:30:56
80年代参加高考,女考官偷偷给我一个信封,改变了我的人生轨迹

80年代参加高考,女考官偷偷给我一个信封,改变了我的人生轨迹

小月文史
2024-05-08 18:31:23
“为何美国人当前如此愤怒,而中国人却很冷静?”

“为何美国人当前如此愤怒,而中国人却很冷静?”

观察者网
2024-05-14 17:24:16
有误会?河南新娘2.88万下车礼后续:闺蜜发文解释,更多细节被曝

有误会?河南新娘2.88万下车礼后续:闺蜜发文解释,更多细节被曝

金哥说新能源车
2024-05-15 03:16:39
144分钟鏖战!澳网冠军抢7绝杀,郑钦文PK高芙,约战世界第1?

144分钟鏖战!澳网冠军抢7绝杀,郑钦文PK高芙,约战世界第1?

刘姚尧的文字城堡
2024-05-14 07:06:24
首次披露!“内鬼”刘立宪,在最高检任局长时就开始敛财

首次披露!“内鬼”刘立宪,在最高检任局长时就开始敛财

政知新媒体
2024-05-14 15:23:46
2024-05-15 06:44:49

科技要闻

阿里“爆改”一周年:变法凶猛,增长艰难

头条要闻

杭州一电商平台员工1年受贿9200万 大量金条现金被查获

头条要闻

杭州一电商平台员工1年受贿9200万 大量金条现金被查获

体育要闻

"全世界最美球场"的主人 时隔21年重回意甲

娱乐要闻

《歌手》引爆全网,众多歌手请战!

财经要闻

多位百亿富豪信息遭泄露 980元包年可查

汽车要闻

不到十万纯电SUV 比亚迪元UP主打一个卷

态度原创

教育
本地
艺术
亲子
旅游

教育要闻

全国初中数学邀请赛,隐藏着简单解法,不知大家是否发现?

本地新闻

云游中国|哪吒小镇,潮玩新地标!

艺术要闻

广汇美术馆三展齐发!百年艺术精品荟萃,立当下向未来

亲子要闻

十个月的宝宝参加姑姑的婚礼,跟随音乐的律动开始摇摆

旅游要闻

动物园20只东北虎死亡 阜阳林业局:正联合调查

无障碍浏览 进入关怀版
×