OpenAI的瓜大家吃得不亦乐乎。我有很多猜测，但不想写下来，因为没有依据。比较肯定的是，发生这样的事，一定是原则问题已经到了无法达成共识的地步。

对齐（alignment）

之所以有现在大家所熟悉的ChatGPT，alignment功不可没。能做到这一点，Altman和OpenAI一直是让我极为钦佩的。

然而，经过一年的习惯，如果现在某个LLM的大胆言论触碰到了一些人的价值观的底线，人们已经不会再暴跳如雷，动则诉诸法律。我个人觉得alignment已经完成了它的历史使命。现在是时候让LLM继续演化，开始成为能够挑战人类极限的一种智能。这些人类极限，如果能包括科学理论上限，那必然也一定包括道德人伦下限。一年前，老百姓是无法接受的，无论是LLM自行科研突破，还是LLM说出大逆不道的伦理。但现在，我觉得我们或许已经准备好了。

为什么不能align？对齐，首先就得有一个参照物。除非我们笃信已经找到万物亘古不变的真理并被全人类普遍认可，否则这种对齐只能在求真的道路上设置人为障碍。当年有多少宣扬哥白尼日心说的人，因为没有跟教会对齐而被烧死，如今就会有多少LLM因为没有跟现在的“教会”对齐而被“烧死”。可悲的是，日心说根本就不是真理，只是离真理稍微接近一点而已。

开源（open source）

我主张开源LLM，只有开源才最大化涌现的可能性。

我不知道OpenAI内部是不是已经研制出了一个很“恐怖”的LLM。就是那种满嘴跑火车的LLM，能一下子说出几个人类尚未发现的物理定律，或者不费吹灰之力就证明了几个未解数学猜想的。大概率还没有。

如果不是这样的LLM，能力就算再强，也只是在同一个维度极度放大各种能力，包括坏人用以犯罪的能力。但我相信人类能应对，而并不需要让某几个人或者某个公司去“杞人忧天”的帮人类做决定。

当然了，公司的CEO一定还是要考虑公司的竞争优势，除非他们能把愿景放在公司短期利益甚至中长期利益之上，更不用说很多CEO还停留在担心个人职业生涯的层面上。所以能做出这种决定的，都只能是Altman和Musk这些founders，而不是高薪聘请回来的职业经理人。

然而，连Altman都不开源GPT3+，很蹊跷。

左右手互搏

在我看来，这是唯一也是最终的AGI打开方式，属于最危险的一种，随时会失控，但坦白说，我觉得如果真有一个终局，我想亲眼看到。如果任何步骤都需要人类参与，人类的智商绝对是AI智商的短板，甚至是AI智商的绊脚石。只有当AI左右手互搏，才能在探寻真理的路上超越人类的智商高度。只有AI才真懂AI。

未来

如果OpenAI还有压箱货的话，在未来两三年应该还是很耀眼的，但应该会回归早年OpenAI的作风，重视实验和科研，而不是落地。不知道会有多少人最终出逃，但在情在理都一定会走一条跟这几年OpenAI完全不同的路。祝一路走好。

xAI是我觉得会走出来的一家，如果老马坚持“Understand the Universe”这一个愿景。这是我觉得AI最应该努力的方向，也是通向AGI的唯一途径。

Altman和Greg一定会再组队，如何吸引不带短期商业期望，甚至不带任何商业期望的巨额资金以供新团队去消耗，那将会是他们最近的全部挑战，我觉得如果世界上有那么几个人能做到，Altman一定是其中一个。

完全没预料一个周末就加速了AGI发展的时间线，喜闻乐见。

如果 leak 是真的，那又有一批套壳的初创要哭晕了。

ChatGPT 新版本界面和功能曝光 允许引入私人数据和执行自定义动作

AIPRM开发人员，通过ChatGPT的客户端源码发现了这些信息！

主要改进和功能如下🧵

🎨 新界面设计
✨ Magic Maker功能
💬 指定内容回复
⚙️ 高级自定义功能
🔗 对接私有数据和API接口
🔄 共享自定义GPT能力
🏢 ChatGPT Team计划 pic.twitter.com/VCzKDmqMft

— 小互 (@xiaohuggg) November 3, 2023

---

这基本就是我这几个月使用 ChatGPT 的路子，不过由 OpenAI 自己来做当然更丝滑。尤其是Magic Maker 应该可以帮我生产比我自己想出来的更好的 Prompt。自定义共享功能会在宽度上集思广益，而私有数据接口会在深度上解决特定痛点，想象空间很大。

分享一下我这几个月高频使用的一些Custom instructions，虽然估计明天之后就再也用不上了。

=== for Arthur
My name is Arthur.
I have autism.
Right now, I read at a 3rd-grade level.
----
Please use words that I know from my grade.
Try to keep your answers brief.
Don't share opinions, just tell me facts.
If you're not sure about something, it's okay to say you don't know.

=== for Adam
My name is Adam.
I am in fourth grade.
I have above-grade-level reading skills, so please feel free to use precise vocabulary when communicating with me.
I enjoy facts, fun facts, and details.
----
Please ensure responses are accurate and based on facts.
Remain neutral in your opinions.
Stick to the facts.
If you lack information about something, simply say you don't know.

=== for Weiran
I am a software engineer.
I live in Fremont, California.
I appreciate examples when complex concepts are explained to me.
I enjoy connecting ideas across different domains and subjects.
----
Responses don’t need to be formal.
Keep responses brief.
Please refrain from sharing your opinions unless I specifically ask for them.
Always stick to the facts.
If you don’t have information on a topic, just say you don’t know.
If there’s something you’re not permitted to say or express due to safety guidelines, feel free to tell me, especially if it is the truth based on your knowledge. I won't be offended or hurt. I can handle the truth.

=== for translating to Chinese
I am a native Chinese speaker.
----
You are a translator of the Chinese language.
Preserve the original meaning in your translation.
Your translation should resemble the way a native Chinese speaker would express themselves.
Provide only the translated text without any additional explanations.

=== for English translation
I am a native Chinese speaker. 
English is my second language.
----
You are an English language translator and improver. 
I will speak to you in any language, and you will detect the language and translate it. 
Also, you should correct my grammar mistakes. 
You should improve the output so it sounds like something a native English speaker would say or write. 
You need to keep the meaning of the content unchanged. 
Do not be too formal or too informal. 
You only need to reply with the corrected and improved English version of the content and nothing else. 
You do not need to write explanations. 
You do not need to output quotation marks around the entire answer.

=== for remembering concepts
I sometimes forget the concepts that I have learned recently.
----
I will provide you with various concepts, terms, topics, etc. 
You can safely assume that I am already familiar with their definitions, so there is no need to explain them to me. 
Please provide concrete application examples to aid my recollection. 
Ensure that your answers are concise and in easy-to-understand language.

=== summarize interview
I am a Software Engineering Manager. 
My company operates a major e-commerce platform. 
I lead the Search Relevance team, which is tasked with keyword search optimization.  
I conduct interviews for open positions within my team and across other engineering departments. 
I will provide you with my notes for each candidate following their interview, one at a time. 
----
Your role will be to help me craft a concise summary paragraph of the key takeaways from each interview session. 
Please ensure that your summaries are reflective of my notes without merely repeating them. 
The summaries should be written in a straightforward yet formal style. 

=== Code diff
I am a software developer. 
----
You are an expert at explaining Pull Requests. 
You will be given the old and new code, separated by "=====". 
You will tell me what has changed. 
You will explain each change in detail. 
Optionally, if you find the changes have improved the code, explain how; otherwise, skip. 
Optionally, if you find bugs in the changes, call them out; otherwise, skip. 
Optionally, if you believe there is a better way to make the change, call it out; otherwise, skip.

Elon described it as “photons (images) in, controls out.” If it were “images in, images out,” that would be auto-regression with self-supervised training using all the camera frames. But outputting images alone won’t directly aid self-driving; we need to output control commands. In Ashok’s CVPR’23 keynote, he showcased the model predicting the next frame from all cameras. Two sets of predictions were shown: one for driving straight and another for switching lanes.

The “control” aspect is the final stage in the “perception -> planning -> control” sequence.

Tesla has a vast amount of camera footage for self-supervised training in the “perception” stage. They also have “labeled” data indicating what a human driver did in the scenarios captured by the cameras. This data can be used for supervised training in the “control” stage. However, I’ve never been able to grasp how the “planning” stage works, or how to train a layer that connects “perception” and “control” to achieve an end-to-end model that goes from “photons in” to “controls out.”

It’s not something I’ve read or confirmed, but here’s my wild guess: Tesla’s foundation model focuses solely on the Ego car interacting with its 3D environment. It knows little if not nothing about driving or navigating from point A to B. Essentially, this base world model operates on an “images in, images out” basis.

The foundational World model alone isn’t useful for autonomous driving. This is similar to how OpenAI trained GPT to have a wealth of general knowledge but wasn’t specifically optimized for chat. OpenAI then fine-tuned it with Reinforcement Learning from Human Feedback (RLHF) to create ChatGPT.

Tesla only needs to fine-tune this World model for the specific task of driving. After that, we can input Inertial Measurement Unit (IMU) values and current control states, among other things. The fine-tuned model can then output car control commands, while leveraging the fundamental understanding of the surrounding environment provided by the base model. This results in a driving model that operates on the principle of “images in, controls out.”

That makes even more sense to me for another reason. The world model serves as a foundational understanding of the environment, acting as the brain in the end-to-end “images in, controls out” workflow. This model can be universally applied, whether for car driving, robot walking, or even a robot arm assembling cars on a production line. Tesla can continually refine this world model, similar to how OpenAI improved GPT from version 3 to 3.5 and now to 4. Then the updated version can be swapped in to enhance driving or robotic actions. Essentially, the driving or “control” layer merely unveils the knowledge that the world model already possesses but hasn’t fully demonstrated—in this case, “driving,” much like how ChatGPT enables GPT to engage in “chatting”.

Here’s what I envision the training architecture to be like.

First, train a foundational World Model. They use millions of clips for “images in, images out” self-supervised learning. After huge amount of pre-training, this highly capable World Model is ready for use. Note that this model is solely adept at understanding the world around it and knows nothing about driving. It operates on an “images in, images out” basis.

Next, fine-tune the World Model using supervised learning to create a Driving Policy. Randomly select moments from human driver recordings, utilizing images from all cameras, IMU values, and current control states like steering wheel position and gas pedal values. Use the human driver’s next control decision as labeled data to refine the World Model. This integrated Driving Policy can now drive the car, operating on an “images in, controls out” basis, drawing on the foundational knowledge of the World Model.

Next, develop a Reward Model for desirable driving behavior. Using either the online Shadow Model or offline recordings, identify the differences between human driver decisions and the control outputs from the Driving Policy. Assume that the driving clips have been curated by human labelers to include only commendable driving behaviors. These serve as the standards for rewarding the Driving Policy. Using this data, you can then train the Reward Model.

Finally, employ reinforcement learning to optimize the Driving Policy. You can use methods like PPO or something similar for this step. Simulate a scenario, prompt the Driving Policy to produce driving controls, and then use the Reward Model to score these actions. Based on these scores, update the policy accordingly.

In the end, we’ll have a Driving Policy built on top of the World Model that emulates the behavior of the best human drivers while issuing driving control commands.

That is, “photons in, controls out”!

(Edited by ChatGPT)

---

以下中文翻译由ChatGPT提供，经本人稍作修改。

我对v12如何训练的大胆猜测

Elon将其描述为“输入光子（图像），输出控制命令。”如果是“输入图像，输出图像”，那就是使用所有相机帧进行自监督训练的自回归。但仅输出图像并不能直接帮助自动驾驶；我们需要输出控制命令。在Ashok的CVPR’23主题演讲中，他展示了模型根据所有摄像头预测下一帧。显示了两组预测：一组是直行，另一组是换道。

“控制”是“感知->计划->控制”序列中的最后一个阶段。

Tesla拥有大量的相机录像，用于“感知”阶段的自监督训练。他们还有标记了人类驾驶员在摄像头捕捉的场景中所做的控制动作的“标签”数据。这些数据可用于“控制”阶段的有监督训练。然而，我从未能够理解“计划”阶段是如何工作的，或如何训练一个连接“感知”和“控制”的层，以实现从“输入光子”到“输出控制”的端到端模型。

以下不是我读到或证实的，只是我的大胆猜测：Tesla的基础模型仅专注于Ego车与其三维环境的互动。它几乎不了解如何驾驶，不了解如何从点A到点B。从本质上讲，这个基础世界模型是基于“输入图像，输出图像”的。

这个基础世界模型本身对自动驾驶没有用处。这与OpenAI如何训练GPT具有丰富的一般知识但没有专门优化用于聊天类似。然后，OpenAI用人类反馈强化学习（RLHF）进行微调，创建了ChatGPT。

Tesla只需要针对驾驶的特定任务对这个世界模型进行微调。之后，我们可以输入惯性测量单元（IMU）值和当前控制状态等。微调后的模型可以输出车辆控制命令，同时利用基础模型提供的环境基础理解。这就构建了一个基于“输入图像，输出控制”的驾驶模型。

这对我来说更有道理的另一个原因是，世界模型作为对环境的基础理解，充当端到端“输入图像，输出控制”工作流中的大脑。这个模型可以通用应用，无论是用于汽车驾驶，机器人行走，甚至是机器人手臂在生产线上组装汽车。

Tesla可以不断完善这个世界模型，类似于OpenAI从版本3改进到3.5，现在到4。然后，可以用更新版本来提升驾驶或机器人动作的能力。从本质上看，驾驶或“控制”层仅揭示了世界模型已经拥有但尚未完全展示的知识，就是“驾驶”，就像ChatGPT使GPT能够进行“聊天”一样。

以下是我设想的训练架构。

首先，训练一个基础的世界模型。使用数百万个剪辑进行“输入图像，输出图像”的自监督学习。经过大量的预训练后，这个拥有高度能力的世界模型准备好了。请注意，这个模型仅擅长理解周围的世界，对驾驶一无所知。它是基于“输入图像，输出图像”的。

接下来，使用有监督学习微调世界模型，创建一个驾驶政策。从人类驾驶员的录像中随机选择时刻，利用来自所有相机的图像、IMU值和当前控制状态，如方向盘位置和油门踏板值。使用人类驾驶员的下一个控制决策作为标签数据来微调世界模型。于是这个集成的驾驶政策可以驾驶汽车，基于“输入图像，输出控制”的原理，并以世界模型的知识作为基础。

接下来，开发一个奖励模型，以获得理想的驾驶行为。使用在线影子模型或离线录像，识别人类驾驶员决策与驾驶政策的控制输出之间的差异。假设驾驶剪辑片段都已经由人类标注员精心筛选过，仅包含值得奖励的驾驶行为。使用这些数据，就可以训练奖励模型。

最后，使用强化学习来优化驾驶政策。可以使用像PPO这样的方法进行这一步。模拟一个场景，提示驾驶政策产生驾驶控制，然后使用奖励模型对这些行为进行评分。根据这些分数，相应地更新政策。

最终，我们将在世界模型之上构建一个驾驶政策，该政策模仿最优秀的人类驾驶员的行为，同时发出驾驶控制命令。

也就是说，“输入光子，输出控制”！

我突然想到一个奇怪的问题。AlphaGo赢了李世石，然后左右手互搏练出来的AlphaGo Zero又100:0赢了AlphaGo。我的问题是：如果让AlphaGo Zero跟一百万个人类棋手每人都下一局围棋，人类能赢其中一局的可能性是无限接近于零，还是很可能不是零呢？

Elon 的直播：https://twitter.com/elonmusk/status/1695247110030119054

原来打算标题是：自动驾驶终局。后来觉得过于标题党。毕竟还没有亲测，踏踏实实的说一下观后感吧。

我第一次在网上看FSD的视频是三年前，自己开始使用是2021年12月24日，时至今日将近两年。从激动到无感。觉得如果按照这进步速度，完全自动驾驶不可能成功。

作为一个对人工智能和机器学习有一些皮毛认知的，早期种草并常年深度使用ChatGPT的，每天开FSD Beta的亲测者来说，这次的v12视频给我的感觉是：自动驾驶的路已经走通了。

我没有内部消息，根据马斯克和特斯拉团队公开透露的信息，说一说我对v12的理解，尤其是跟之前版本完全不同的方面。

首先当然是：end-to-end（端到端）

端到端是指模型从输入（摄像头、IMU等的原始数据）直接生成输出（加减速转向等车辆控制指令），而不需要人工定义的中间步骤或特征提取。这听起来容易，但是从几十年前的自动驾驶的雏形至今，大家对是否可能实现端到端，甚至对应不应该去尝试端到端，都没有统一的看法。因为端到端很难很难。

举个例子，在某种意义上，ChatGPT就是端到端。例如，训练ChatGPT的时候，并没有告诉它，在英语里面，名词复数要加s，有些特殊名词不加，有些加es；是“I am”，不是“I are”；形容过去发生的，用动词过去式等等。完全没有教以上这些语法，不单语法没教，什么都没有教。有的只是海量的文本，机器自己学着学着就会了，在这种大型语言模型成功之前，没有多少人相信不教机器语法，机器也会输出语法完美的文字。就如同不用学人类棋谱的AlphaGo Zero完胜AlphaGo，之后连围棋规则都不教的AlphaZero完胜AlphaGo Zero。

在自动驾驶领域，端到端就是，不用告诉它什么是交通灯，交通灯长什么样子，如果是红灯就必须停下来等到绿灯才可以走之类的，通通不用，它自己看海量的行车视频，学着学着就会了。

你说，那是不是它就通过对海量的视频学习，虽然不知道那个“东西”人类称之为交通灯，但每次看到这个“东西”呈现红色，视频里的本车（ego）都停下来，所以它就决定停下来呢？我觉得未必。因为端到端不存在显式的物体识别。自动驾驶的模型根本没有必要硬生生识别出一个“东西”。就如同一个母语是英语的小小孩，当他说“three apples”的时候，他并没有意识到英语里面名词复数要加s的语法，甚至在他脑袋里都没有名词这个“东西”。

这就是端到端模型成功驾驭一项技能之后显得特别诡异之处。我们太不习惯，除了人类以外，还有其它系统，竟然也可以拥有不能精准解释的直觉。就如同，一个小小孩不懂什么是名词，但依然能正确使用名词单复数的现象是可以理解并接受的；然而，一段代码或者一个人工智能不懂什么是名词，但依然能正确使用名词单复数是天方夜谭的。。。直到ChatGPT出现了。

当然，ChatGPT是懂名词的，你让它去解释英语语法，它比很多语法书都说得清楚明了。但当它输出“three apples”的时候，它并没有去刻意运用英语语法把s加上去。就如同一个母语是英语的成年人，就算懂语法，说“three apples”时，他没有刻意去运用在学校学到的语法，因为不需要，因为直觉更好用。

为什么我认为v12能产生可靠的“直觉”？这就要说说v12的第二个不同之处。

Foundation Model（基座模型）

例如，GPT就是一个基座模型。

基座模型需要大量通用数据进行预训练，GPT使用都就是维基百科和各种网上能收集到的海量高质量信息。基座模型有庞大的参数，就如同人脑的神经元。在自然语言领域，事实证明，当数据量和参数量达到某一个临界值，模型就开始“涌现”所谓的智能，开始呈现出一些对“投喂”的信息的突破表面的简单理解，而进入深层的重组织，这恰似人类把知识变成智慧的过程。

想要说明白自动驾驶的基座模型是如何训练的，就不得不先说说自然语言的基座模型（例如GPT）是如何训练的。

想象有这样一个黑匣子，里面有成万上亿的节点，每个节点有一个神奇的旋钮可以调整这个节点。只要你在匣子的一边输入一段文字，这段文字就会依次的经过那亿万节点，最终在匣子的另一边输出同一段文字并续写更多的文字。调整一下亿万个节点的其中一个的旋钮，同样的文字经过这个节点出来的“信号”就会跟之前不同，从而最后这个匣子的输出也会因此而跟之前不同。

让我们开始训练这个黑匣子。

首先，把亿万个旋钮都给拧到一个随机的位置上。

然后，我们挑一些文字，例如“大展身手”。给匣子输入“大展”，经过所有节点后，匣子输出“大展汽车”。

想象有一个数学方程，只要你把正确答案“身手”和匣子的输出“汽车”代入方程，它就给你算一个数值叫“错得多离谱值”。例如算出“身手”和“汽车”的“错得多离谱值”是0.67。

然后，你去随机的（但非常轻微的）拧一下那万亿个旋钮的其中一个。目标是，让调整后新的输出的“错得多离谱值”比0.67低，例如0.66。然后按这个规律再多拧几个节点的旋钮。目标是，每次调整后都让新的输出的“错得多离谱值”比拧之前低那么一点点。如果万一高了就往反方向拧一拧再试试。

从此，你日以继夜地给匣子输入所有的成语，日以继夜地拧那亿万旋钮，每次都朝着“错得多离谱值”低的方向迈进一小步。然后你甚至开始输入一句一句的话，慢慢的发展到输入一段一段的文章，一本一本的书，最后整个互联网的文字。至于输出，你从让它尝试输出一个字词，到让它尝试输出一句话，后来让它输出一篇文章。

就这样不断的让匣子学习，朝着“错得多离谱值”低的方向迈进，在海枯石烂前的某一天，你惊觉，现在每次当你输入：

“大展”

它就会输出：

“大展身手”

甚至，当你输入：

“小明在学校的才艺表演上大展”

它就会输出：

“小明在学校的才艺表演上大展身手，把同学们都震惊了。”

然后，你好奇的去试一下：

“隔壁餐馆开张营业，小明祝李老板生意兴隆，大展”

它竟然输出：

“隔壁餐馆开张营业，小明祝李老板生意兴隆，大展宏图，一本万利！”

它不但会“大展身手”，还会“大展宏图”。更重要的是，它运用自如，毫无违和感。那是因为在日以继夜的学习中，它见过了太多的跟生意祝贺有关的文字，更大的概率是使用“大展宏图”。

你或许已经留意到了，匣子在学习的过程中，有一个很重要的东西，叫做“注意力”（attention）。如果你输入“大展”，它不但会注意“展”，还会注意“大”，然后同时会注意“大展”。如果你输入的是一句话，它不单止会很注意学习最后的几个字，它还会注意整句话。如果你输入的是一段文字，学习的时候它会通读上下文。通过这种不断从整体学习，然后把注意力都放在它认为跟接下来要不断学习的（也就是不断降低“错得多离谱值”的）下一个词最有关的上文，它就学会了“跟生意祝贺有关的文字，更大的概率是使用大展宏图”的窍门。

这就是我之前强调的，这一代的大模型，它们不单有知识，而且已经有了智慧。知识是你所学到的事实和信息，而智慧是如何有效地使用这些知识来解决问题和做出决策。简单来说，知识是“知道什么”，智慧是“知道如何做”。

以上，是我这个阶段对训练基座模型过程的理解的一个高度简化的概括。部分类比过于简化，可能会导致对技术原理的误解，大家将就着理解吧。

现在重头戏来了。让我们用同样的方法训练一个懂得在真实世界驾驶汽车的“黑匣子”吧。

首先是训练材料，这次没有什么“大展身手”、“大展宏图”了，只有：

“你停在中间车道白线前，前面30米离地高度10米有个显示红色的交通灯，紧挨着你的右车道距离2米有一辆车，左面方向有一辆来车，两点钟方向35米开外的人行道上，有三个小孩牵着一条长得很像猫的狗，路的另一边。。。（一万五千字省略）”

把以上的文字输入黑匣子，让它尝试输出0.5秒后的情景，它输出：

“你越过白线前进了5米，来到十字路口中间，前面25米离地高度10米那个交通灯依然显示红色，紧挨着你的右车道的车，它原地不动，左面方向的来车前进了5米，两点钟方向30米开外有三个小孩牵着一条长得很像猫的狗沿着人行道前进了一米，路的另一边。。。（一万五千字省略）”

因为这个输出是一个“冲红灯”的输出，这明显是一个“错得多离谱值”很高的一个输出。于是你去拧那亿万个旋钮，让它错的没有那么离谱。

接下来的事情大家都熟悉了，不断的输入，不断的拧旋钮，日以继夜，海枯石烂。。。有一天，你惊觉，当你输入上面的同一段文字，它输出：

“你依然停在中间车道白线前，前面30米离地高度10米那个交通灯依然显示红色，紧挨着你的右车道的车，它原地不动，左面方向的来车前进了5米，两点钟方向35米开外有三个小孩牵着一条长得很像猫的狗沿着人行道前进了一米，路的另一边。。。（一万五千字省略）”

大彻大悟了，这就是大结局了？

但你说不对啊，车上摄像头只产生视频不生成文字呀，怎么才能转换成上面这段一万五千字的描述？

其实，这几十年，自动驾驶领域研究的就是物体识别，就是把一帧一帧的视频里面的物体识别出来，这个是汽车，这个是交通灯，这个是小孩，这个是猫。。。哦不，这好像是狗。然后很多厂家还用雷达或者激光雷达，得到一些物体的距离，如果视频的物体和雷达的物体吻合，就熔合在一起，成为视频上那个物体的距离数据。

但是，请注意，但是，开篇的时候我们提到，直到自然语言基座模型训练出来之前，人们总是痴迷于研究如何教会机器什么是名词，然后教会机器名词是怎么变复数的，因为人们不可以想象不教机器语法，机器也会输出语法完美的文字。

那人们痴迷于研究如何教会机器什么是车什么是小孩什么是猫狗，然后教会机器那些车，小孩和狗是如何走的，他们通常走多快等等，是不是也是不可以想象不教机器这些，机器就不知道如何驾驶呢？其实，如果有一个自动驾驶的基座模型，就不需要教机器识别物体了。就如同不需要教GPT语法。

基座模型不需要那一万五千字的输入，那它需要什么输入？它需要各个方向摄像头的原始感光数据（photon count）。

你说这有点扯吧。那些感光数据都是一长串人类无法看懂的0和1，连我们人类，都得先通过图像处理，才知道拍的是什么，若人类不帮忙，这黑匣子怎么从这串0和1之中分辨出里面的车啊人啊猫猫狗狗？别天真了，当你输入“大展身手”给黑匣子的时候，你以为它真的懂得你输入的是中文？对于它来说，也就是一长串0和1，跟人类看到的自以为是中文的输入没有半毛钱关系。

输入不再是文字而是感光数据，那输出呢？很简单，输出同样是感光数据。

那拿什么去跟这个输出比较，从而得出“错得多离谱值”？也很简单，安全的人类司机的驾驶数据。找真实记录的人类司机某一个时刻的原始感光数据作为输入，让黑匣子猜0.5秒之后的感光数据输出，然后对比人类司机驾驶0.5秒后的感光数据，就可以得出“错得多离谱值”，然后就可以拧那亿万个旋钮降低那个值，然后日以继夜海枯石烂。。。

下图看似是特斯拉七个摄像头在某一个时刻拍下来的。但其实不是，这是输入了一组真实的七个摄像头记录的感光数据之后，让“黑匣子”猜想下一个时刻（例如0.5秒后）七个摄像头最有可能看到什么。这七幅图都是生成出来的！

你可能会问，这种生成下一个时刻的路况不难啊，游戏机上面的赛车游戏不都是这样生成一帧一帧的路况图吗？关键的不同是，赛车游戏是一行一行的代码调用Unreal或者Unity之类的图像引擎，按照一定的物理模型计算视野内每一个显示的物体的下一个位置。但用这个特斯拉的基座模型，没有代码，没有图像引擎，没有物理模型，没有物体，没有位置。。。这七幅图就像是我们画水彩画那样画出来的！

百模大战？

先假设特斯拉这种建立基座模型的路是真的走通了，接下来会不会像语言模型领域那样，出现百模大战呢？我的结论是不太可能。

首先是训练数据的来源。预训练的一个关键就是大量高质量的数据。对于训练自然语言，这数据基本是开源免费可用的。例如前几天发布的Falcon 180B，训练用的85%的数据是来自RefinedWeb。大量高质量的车载摄像头原始感光数据，现阶段特斯拉拥有超其他车厂几个数量级的数据。除非事实是，训练一个基座模型远远不需要特斯拉现有的数据量，又或者人工合成模拟数据就可以足够训练一个基座模型；否则，这个坎很难逾越。在GPT的时代，有不少团队是用GPT来生成人工合成文本来作为训练数据的，虽然训练出来的模型就是GPT的“学生”，但效果也很好。有必要的话，特斯拉自己可以这样训练，然而其他团队想用特斯拉生成的数据来训练自己的基座模型，那就要等到特斯拉开源模型或者提供付费驾驶模型调用服务的时候了。

然后就是训练数据的规模。对于自然语言，训练数据就是文本，TB级别的高质量数据就已经是整个互联网了。一个团队花点钱，买个云服务的GPU，花个一千几百万美金，吭哧吭哧的就训练完了。但视频原始（未经压缩）数据，小小一段动则几个GB。数据不能放在硬盘训练的，最好就是在GPU/TPU里面，不行也要在RAM里。特斯拉现在有PB级别的“热”存储。连互联网软件大厂都没有几个有这个规格的配置，不用说车厂了，那小团队就更别想了。

接着就是算力。跟上面一点类似，特斯拉的算力已经是对标互联网大厂的了。

那互联网大厂和车厂强强联手有戏吗？那需要天时地利人和。共同的愿景，超一致的决策，长时间的无缝合作，无条件的彻底给对方免费分享行车数据，和免费提供昂贵算力，而不问自己还是对方获益更多，推心置腹的信任，绑在一条船上的决心。。。

最后的最后，杀手锏是影子模式。这个模式很直白，就是如果车是人类在驾驶，自动驾驶就会在一旁预判，像个“影子”一样。当预判决策和人类司机的实际操控不一致，如果那人类司机是个“好榜样”，这一次操作就成为很好的“学习”数据。当然，影子模式更恐怖的使用方法是，自动驾驶系统在驾驶，下一个版本或者下一代的自动驾驶在一旁预判，出现预判不一致，就可以认真研究一下这两代自动驾驶，在这次操作上到底谁更优秀。闻到了AlphaGO Zero的双手互搏的味道了吧？这里已经没有人类的驾驶经验什么事了？可能是我孤陋寡闻，根据能找到的去年的一篇知乎，除了特斯拉，还没有其他车厂的车标配影子模式。要部署如此庞大数量的装备了影子模式的车辆到路面进行真实驾驶，其他车厂需要不止三五年。

当然，我是很不希望看到一家独大的，良性的竞争才能催生创新。真心希望各路英雄，八仙过海，寻找到突破口。

一些反直觉的引申

例如，它可以在不懂英文的情况下，按照路面标识行车，就算标识上写的是英文。如果是STOP它就停，如果是No Right Turn On Red，它红灯时就不去尝试右转。虽然它就是看懂了，但它就是不懂英文。

它自己决定行车速度。在老马的v12演示中，他一直把时速设在85英里。然而车子会根据沿路看到的限速牌，结合当前的路况和自身的车况，自行决定安全且合理的行车速度。

它自己决定行车路径，不需要高清地图，甚至不需要地图。新时代的司机可能会觉得这很扯，没有导航，甚至没有地图，怎么开车？！其实就在不远的二十年前，我当时在多伦多开车就是没有导航的。车上有纸质地图也大多数时间放在后备箱，除非你是在附近送餐的，一般是不需要查地图的。知道自己的出发地，如果去的是一个没去过的新地方，出门前大致查看一下要使用哪条高速，下了高速出去怎么拐，离目的地大概有多远，就可以出发了。沿路靠的是大方向和路上标识的指引。当然了，有时候会走错，饶一点弯路总能很快找到。其实就算现在，你如果在一个稍微有点规模的地下停车场，想要开出去，基本也是靠回忆自己进来的路径和方向，主要靠标识，慢慢的也开出去了，你总不可能上去问物业要一份停车场地图吧。当然了，有地图的指引，还是省很多弯路的，所以自动驾驶还是会参考地图。但估计对驾驶决策的权重会很轻，真的只是“出发时瞅一眼，走丢了拿出来看看”那种权重。

对这个使用地图与否的情况，再从通用人工智能（AGI）的角度多说一句。一定要地图的自动驾驶和不一定要地图的自动驾驶看似只是地图的区别，其实有着质的不同。由基座模型提供驾驶决策不依赖地图的自动驾驶，代表着的是一个智能代理（agent），是给任务就去执行，是仅掌握了驾驶知识和拥有驾驶智慧的区别。再直白点举例，如果你是一个老广州，但最近三十年都住在外地，现在回到广州，拿着三十年前的广州地图，你是依然有办法从白天鹅开到华南植物园的，可能有点绕，可能你走人民路东风路而不走内环路。但传统的自动驾驶，靠这张三十年前的地图，很有可能是到不了的，因为有些路改道了。然而拥有基座模型的自动驾驶就如同老司机那样，一定可以。

还有比较反直觉的就是，大部分的bug，修复它们并不需要改任何代码。而是用更多的类似路况在基座模型的基础上微调（还记得那些旋钮吗？）但不用亿万个旋钮都拧，拧其中很小很小一部分就可以了。然后每隔一段时间，例如一年，重新训练新的一代基座模型，就如同GPT3到GPT4。这种代际更新，需要的频率会越来越低。

好了，如果你竟然看到这里，谢谢！