太猎奇了，首个GPT-4驱动的人形机器人

twq19810302

让GPT-4操纵人形机器人，事先不做任何编程or训练，能搞成啥样儿？

答案是：太 猎 奇 了！

这不，要求机器人表演“在昏暗电影院里狂炫爆米花，却突然发现吃的是隔壁陌生人的😅”。
) I1 r) z( X4 F4 D) f! Q
在GPT-4的操纵下，机器人笑容凝固，“尴尬”得摇头扶额后仰：
$ ~7 {0 s; z9 N) C9 _7 S0 ~

  C& b& m8 V  n# G7 G! n% y

但在尴尬之余，竟然还不忘再抓一把塞嘴里？？？又像是要求机器人“弹吉他”。

GPT-4略思考一番，开始操控机器人活动一番手指、随后疯狂甩头，好像是有点摇滚内味儿。但仔细一看，甩头的时候，手指就完全不动了……

4 A2 t( A& ?3 I4 q3 c

你要说这是神叨叨的地摊先生在掐指一算，好像也没什么不对（手动狗头）。

总结一系列动作来看——

6 R/ l, `* z7 G% B9 N相比波士顿动力人形机器人，一举一动均由人为程序精细操纵，这个GPT-4直接操控的机器人，表情狰狞，动作诡异，但一切行为又符合prompt的要求。

) {2 B: @9 v( E$ K2 S

4 `. s5 B% Z3 d( v: E

这一连串GPT-4操控机器人的视频po到网上后，不少网友直呼“恐怖谷效应犯了”：

# F7 {) i) b0 q+ R8 J1 w

原来，这是首个由GPT-4驱动人形机器人的研究，来自东京大学和日本Alternative Machine公司。

; j" ^/ r# I. d2 D2 Q

, s$ a5 S* Q) |& W

依靠这项研究，用户无需事先给机器人编程，只需语言输入、也就是动动嘴皮和GPT-4聊上一会儿，就能让机器人根据指令完成行动。

6 D7 c4 U2 e- U. ~/ ~

来具体讲讲把GPT-4和Alter3集成到一起，是如何实现的。
" r& W8 E5 m, Z; E7 i# ?, p
大体可以分为两个步骤：
% C, f$ j7 V# S$ l7 A6 }6 _" x, F
# g2 w. Q9 |( ^* \0 Y2 v# k首先，先用prompt描述一下，想要Alter3能够完成什么行为或者动作，比如“咱来张自拍吧”“自拍的时候胳膊再举高一点”。

% M) N7 V3 m) w% n8 ~5 g接收到输入的GPT-4会生成一系列的思考步骤，这些步骤详细地阐述了要完成这个动作，需要先后完成些啥。

这个过程被研究团队称为CoT的一部分，即将一个复杂任务分解为一串更简单的思考步骤。
% a$ {+ P- P+ w* u) I
然后，研究者们再祭出另一个prompt，把分解后的详细步骤转化为Alter3可以听懂的动作指令。
7 o. O- O( t6 X" @" C
简单理解就是把人们的指令描述转化为Python代码，这些代码可以直接用来控制Alter3的各个身体部位的具体运动参数。
; E8 v7 F2 b3 s' w8 V5 P  C
有了转化后的代码，Alter3想挤眉弄眼就挤眉弄眼，想撇嘴就能撇嘴
( ^" _( Y, ^' O; Z- }6 ?8 ^
研究团队把这第二步也看成CoT的一部分，因为它完成的是“把一个抽象描述转化为具体操作”。
) x: h- W) z2 j# u2 V; O0 `" B& U5 ~( \9 E

团队表示，CoT让GPT-4能够有效控制Alter3，命令它做各种复杂动作，且不用额外的训练或者微调。

多说两句，除了上述的两个Prompt搞定机器人控制外，研究团队还顺手完成了一些其它研究。
, L5 e  o9 S5 R6 \, E" R
比如掰开了看Alter3在对话中的行为，主要针对其对话轨迹和语义时间演化。

针对对话轨迹，研究团队使用了一种叫UMAP（Uniform Manifold Approximation and Projection）的方法。团队把对话内容嵌入二维空间，从而方便观察这个简化版的对话发展过程。

他们发现，当对话顺序固定时，对话轨迹会呈现循环模式，也就是老在重复同样的话题。
" }6 Y* q1 @' S. I+ \& }1 H4 U
$ ^8 H# ~3 m+ ~1 c* Y而当对话顺序随机时，对话内容更有发散性or创造性。

贼有趣的一点，研究发现GPT-4聊久了过后，会倾向于反复说“再见”。如果你不来点儿人为干预，它就会沉迷于想办法跟你说再见。
, p) s2 L) F& f$ O" q
, M7 j  H6 `. O" o, u6 C- ^而做语义时间演化分析的过程中，团队观察了随着时间变化，聊天内容的变化。

他们发现，对话初期的一些关键词，比如“艺术”或者“学习”啥的，会聊着聊着就被GPT-4忘了，取而代之的是诸如“文化”“人类”“抑制”之类的词。
: }$ _3 G3 M( G! ?' \
这表明对话内容是在逐渐发展变化的。

4 \8 I# W9 [  Z$ [# v0 i当然，如果你开始跟GPT-4说“再见”，它就几乎一心一意只想跟你说byebye～（doge）
, v9 F0 U3 z0 J2 W: X. ?- [$ Q
这项火爆全网的研究，来自东京大学和日本Alternative Machine公司。

, N9 L% i2 e# Y: v4 D; u5 {一作Takahide Yoshida，来自东京大学通用系统科学系。

, [4 X# X1 [; i4 ~& w另外两位作者升森敦士（Atsushi Masumori）和池上高志（Takashi Ikegami），都是既在东京大学，又属于Alternative Machine公司。

# }4 u9 w" b7 x* Y& q8 u# ~9 F+ y* \

最后，不得不提到本次研究内容的主人公Alter3，它的幕后研究者也来自东京大学，由东京大学AI研究学者池上高志和日本“机器人之父”石黑浩联袂打造。
* |+ S3 y% N, j
Alter3出生于2020年，是同系列机器人第三代产品。

据了解，Alter系列的两次迭代都是在歌剧演唱中完成的。第3代的初亮相就是在东京新国立剧场指挥管弦乐队并参加其他现场表演。

9 }, n  V1 `+ ~- A5 [( ^

那个时候它的特色是增强了传感器，并改善了唱歌的表达能力和发声系统。

, L! N/ A/ v9 W# r2 Z2 s以及身体里那粒能够最终驱动43个气动装置的CPG。
( O' |) c+ r( v* [
9 u. d: d8 W/ t5 B& Y5 jCPG对数据的分析灵敏到什么程度呢？就是如果Alter3呆的房间里如果温度骤降，Alter3会因此打个冷颤，表示自己有被冷到。


这或许也为现在接入GPT-4当脑子后的它，能够活灵活现做表情、完成动作提供了一些基础吧。
; G/ ?+ j" y6 s
/ A1 d7 S; C3 R2 S; b" b' o6 @9 u

紫衣青衫

感觉能看到N年后的一点影子了，AI迭代下去智能提升，控制机器躯壳

喂我袋盐

紫衣青衫 发表于 2023-12-22 15:34
感觉能看到N年后的一点影子了，AI迭代下去智能提升，控制机器躯壳

同意，现在看上去还是智障，将来还是会越来越智能的

tiantianxs

厉害！科技的力量正在成长