a16z：机器研习和零学问解释的制衡

原文题目：Checks and balances： Machine learning and zero-knowledge proofs

原文作家：Elena Burger

原文起因：a16zcrypto

编译：Kate, Marsbit

本文作家Elena Burger，是a16z crypto的买卖共同人，埋头于玩耍、NFT、web3媒体以及去焦点化根底办法。正在参加团队以前，她正在Gilder, Gagnon, Howe, and Co担负了四年的股票分解师。她拥有哥匹敌亚大学巴纳德学院的史乘学学士学位。

正在往昔的多少年里，区块链上的零学识证实正在两个枢纽想法上很是实用：(1)经过处置链下买卖以及验证主网上的了局来扩充算计受限的收集；(2)经过起用樊篱买卖来损坏用户隐私，只要拥有解密密钥的人材能看到。正在区块链的背景下，很分明为甚么这些属性是可取的：像以太坊这样的去焦点化收集假设没有对于验证器处置才略、带宽以及迟延没法维持的须要(所以须要无效性Rollup)，就没法推广吞吐量或区块巨细，并且一切买卖对于一切人都是可见的(所以须要链上隐私束缚规划)。

不过零学识证实对付第三类功能也很实用：无效地验证一切类别的算计是否正确运行(没有仅仅是EVM链下实例化中的算计)。这远远超越了区块链的界限。

运用零学识证实的才略来简明地验证算计系统的前进，而今使得用户也许从现有的每个数字产物(最枢纽的是呆板练习模子)中要求区块链确保不异水准的弗成信赖以及可验证性。对于区块链算计的高须要激发了零学识证实争论，建立了拥有更小内存占用以及更快证实以及验证时光的今生证实系统，使得而今也许正在链上验证某些袖珍呆板练习算法。

到今朝为止，咱们大概都感受过与一个极端弱小的呆板练习产物交互的潜力。多少天前，我利用GPT-4帮忙我建立了一个正在国际象棋中不停战胜我的AI。这觉得像是往昔多少十年呆板练习范畴一切前进的一个缩影：IBM的开垦人员花了12年时光开垦出Deep Blue，一个运行正在32节点IBM RS/6000 SP算计机上的模子，恐怕每秒评估近2亿步国际象棋，正在1997年战胜了国际象棋冠军加里·卡斯帕罗夫(Gary Kasparov)。比拟之下，我只花了多少个小时，我只编写了很少的代码，就编写了一个恐怕战胜我的法式。

诚然，我猜疑我发觉的人工智能可否正在国际象棋中战胜Gary Kasparov，但这没有是中心。枢纽是一切玩GPT-4的人均可能有一致的取得超才略的履历：没有费甚么力量，你就也许发觉出凑近或逾越你自身才略的货色。咱们都是IBM的争论人员；咱们都是Gary Kasparov。

昭彰，这是令人高兴以及有点令人生畏的思虑。对付一切正在加密行业处事的人来讲，当然的激动(正在叹息于呆板练习也许做甚么之后)是思虑潜伏的焦点化向量，和若何将这些向量去焦点化到一集体们也许透明地审计以及拥有的收集中。今朝的模子是经过接收大度秘密可用的文本以及数据来构建的，但今朝只要小量人掌握以及拥有这些模子。更全部地说，课题没有是“人工智能是否拥有辽阔的价值”，而是“咱们若何构建这些系统，使与之交互的一切人都能取得经济好处，假设他们承诺，还能确保他们的数据以尊敬他们隐私权的办法利用。”

迩来，有一种声音呼吁憩息或减缓Chat-GPT等大型人工智能项想法掘起。休止掘起大概没有是这边的束缚规划：相反，更好的做法是驱策开源模子，正在模子供给者指望其权重或数据是公有的状况下，用链上以及全面可审计的隐私损坏的零学识证实来损坏它们。如今，后一种缭绕公有模子权重以及数据的用例正在链上尚弗成行，但零学识证实系统的前进将使其正在他日成为大概。

可验证以及可拥有的呆板练习

像我利用Chat-GPT构建的象棋AI正在这一点上觉得相对于良性：一个拥有一致输出的法式，它没有会利用叨光有价值的学识产权或叨光隐私的数据。不过，当咱们想要确保咱们被告诉的模子正在 API 后面运行时确切是运行的模子时会产生甚么？大概假设我想将颠末验证的数据提取到链上的模子中，并确保数据确切来自合法方？假设我想确保提交数据的“人”确切是人，而没有是试图打击我的收集的呆板人，该怎样办？零学识证实，凭仗其简明地核示以及验证随便法式的才略，是完结这一目的的一种办法。

值得留神的是，此日，正在链上呆板练习境况中零学识证实的主要用例是验证正确的算计。换句话说，零学识证实，更全部地说，SNARK(简明的非交互式学识论证)，正在ML左右文中因其简明属性而最实用。这是由于零学识证实损坏了证实者(及其处置的数据)的隐私没有受观察验证者的侵扰。像全同态加密(FHE)、功能加密或可托施行境况(TEE)这样的隐私增强本领更合用于让没有受信赖的验证者对于公有输入数据运行算计(更深切地研究这些本领没有正在本文的范围内)。

让咱们退一步，从更高层次上领会你也许用零学识示意的呆板练习利用法式的类别。(要想更深切地领会ZK，请参阅咱们对于零学识证实算法以及硬件革新的文章，Justin Thaler对于SNARK机能的处事，大概咱们的零学识规范。)零学识证实常常将法式示意为算术电路：利用这些电路，证实者从众人以及个人输入中天生一个证实，验证者从数学上算计该语句的输出是正确的——而没有取得对于个人输入的一切信息。

咱们仍然处于正在链上利用零学识证实施行算计有用验证的很是早期阶段，但算法的革新在扩张可行的范围。以下是零学识证实正在呆板练习中的五种利用办法。

1. 模子可靠性：你指望确保某些实体声称一经运行的呆板练习模子确切是运行过的模子。比如，也许正在 API 后面拜候模子的状况，并且一定模子的供给者有多个版本——例如，一个更昂贵、没有太确切的版本以及一个更低廉、机能更高的版本。假设没有证明，你就没法分解模子的供给者是否为你供给了更昂贵的模子，而你理论上一经支拨了更低廉的模子(比如，模子的供给者想要节流办事器老本并进步他们的成本率)。

要做到这一点，你须要为模子的每个实例化零丁的证实。完结这一目的的一种有用方式是经过Dan Boneh、Wilson Nguyen以及Alex Ozdemir的功能许诺框架，这是一种基于SNARK的零学识许诺规划，禁止模子一切者向模子提交数据，用户也许将数据输入模子并收到已提交模子已运行的验证。一些构建正在Risc Zero(一种基于 STARK 的通用假造机)上的利用法式也支柱这一点。Daniel Kang、Tatsunori Hashimoto、Ion Stoica以及Yi Sun施行的其他争论一经证实，也许验证ImageNet数据集上的无效判断，确切率为92%(与机能最高的非ZK验证ImageNet模子异常)。

不过仅仅收到提交的模子一经运行的证明是没有够的。模子大概没有能确切地核示给定的法式，所以指望提交的模子由第三方施行审计。功能许诺禁止证实者决定它利用了一个已提交的模子，但它们没有能保险对于已提交模子的一切实质。假设咱们恐怕使零学识证实拥有渊博的可施行性来证实锻炼(拜见上面的示例#4)，那么有一天咱们也也许结束失去这些保险。

2. 模子齐全性：你指望确保不异的呆板练习算法以不异的办法正在分歧用户的数据上运行。这正在你没有指望利用随便私见的范畴很是实用，比如诺言评分决议以及贷款申请。你也也许利用功能许诺。为此，你将提交一个模子及其参数，并禁止人们提交数据。输出将验证模子是否利用每个用户数据的提交参数运行。大概，模子及其参数也许秘密，用户自身也许证实他们将妥善的模子以及参数利用于他们自身的（颠末身份验证的）数据。这正在疗养范畴大概稀奇实用，由于公法规矩患者的某些信息必需失密。正在他日，这大概会使疗养诊疗系统恐怕从全面私密的时刻用户数据中练习以及革新。

3.证实：你指望将来自外部颠末验证的各方(比如，一切也许孕育数字出面的数字平台或硬件)的证实集成到一个模子或一切其他类别的链上运行的智能合约中。为此，你将利用零学识证实来验证出面，并将该证实用作法式的输入。Anna Rose以及Tarun Chitra迩来与Daniel Kang以及Yi Sun一统主持了一集零学识播客，琢磨了这一范畴的最晚进展。

全部来讲，Daniel以及Yi迩来揭晓了一项处事，争论若何验证由颠末验证的传感器拍摄的图像是否颠末裁剪、保养巨细或有限的编写等变换——这正在你想证实图像没有是深度虚拟而是颠末某种合法大局的编写的状况下很实用。Dan Boneh以及Trisha Datta也做了一致的处事，利用零学识证实来验证图像的起因。

不过，更精深地说，一切颠末数字认证的信息均可以施行这种大局的验证：在争论EZKL库的Jason Morton(下一节将精细先容)将其称为“给区块链眼睛”。一切出面的端点：(比如，Cloudflare的SXG办事，第三方公证员)都会天生可验证的数字出面，这对付证实来自受信赖方的根源以及可靠性很是实用。

4. 去焦点化推理或锻炼：你指望以去焦点化的办法施行呆板练习推理或锻炼，并禁止人们向众人模子提交数据。要做到这一点，你也许正在链上摆设一个一经生存的模子，大概构建一个全新的收集，并利用零学识证实来收缩模子。Jason Morton的EZKL库在建立一种方式，用于提取ONXX以及JSON文件，并将它们变换为ZK-SNARK电路。迩来正在ETH Denver的演示说明，这也许用于建立基于图像判别的链上寻宝玩耍等利用法式，个中玩耍的发觉者也许上传照片，天生图像的证实，玩家也许上传图像；验证者反省用户上传的图像是否与建立者天生的证实充分匹配。EZKL而今也许验证多达1亿个参数的模子，这意味着它也许用于正在链上验证ImageNet巨细的模子(有6000万个参数)。

其他团队，如Modulus Labs在对于分歧的证实系统施行链上推理的基准测试。Modulus的基准运行高达1800万个参数。正在锻炼方面，Gensyn在构建一个去焦点化的算计系统，用户也许输入众人数据，并币安官网登录经过一个去焦点化的节点收集来锻炼他们的模子，并验证锻炼的正确性。

5. 身份证实：你想要正在没有毁伤他们隐私的状况下验证某人是独一无二的人。为此，你须要建立一种验证方式——比如，生物判别扫描，或以加密办法提交当局ID的方式。然后，你将利用零学识证实来反省某人是否已被验证，而没有展示相关该人身份的一切信息，不管该身份是全面可判别的，依然像公钥那样的化名。

Worldcoin经过他们的身份证实协议来做到这一点，这是一种经过为用户天生仅有的虹膜代码来确保抗少女巫打击的方式。相当主要的是，为WorldID建立的私钥(和为Worldcoin用户建立的加密钱包的其他私钥)与项想法眼睛扫描球正在要地天生的虹膜代码全面结合。这种结合全面将生物判别标识与一切大局的用户密钥结合开来，这些密钥大概来自于一集体。Worldcoin还禁止利用法式嵌入一个SDK，禁止用户利用WorldID登录，并运用零学识证实损坏隐私，禁止利用法式反省该人是否拥有WorldID，但没有支柱集体用户跟踪(更多细节，请参阅这篇文章)。

这个例子是用零学识证实的隐私损坏个性来对立更弱、更好心的人工智能大局的一种大局，因而它与下面列出的其他例子有很大的分歧(比如，证实你是一个真正的人，而没有是一个呆板人，而没有展示一切对于你自身的信息)。

模子架媾和寻衅

完结SNARK(简明的非交互式学识论证)的证实系统的攻破是将许多呆板练习模子放正在链上的枢纽启动因素。一些团队在现有的架构(席卷Plonk、Plonky2、Air等)中创造定制电路。正在自定义电路方面，Halo 2一经成为Daniel Kang以及Jason Morton的EZKL项目等正在处事中利用的盛行后端，。Halo 2的证实时光是准线性的，证实巨细常常只要多少千字节，验证时光是常数。只怕更主要的是，Halo 2拥有弱小的开垦人职工具，使其成为开垦人员利用的盛行SNARK后端。其他的团队，例如Risc Zero，则努力于一个通用的VM政策。其他人在利用Justin Thaler基于求以及校验协议的超高效证实系统建立自定义框架。

证实天生以及验证时光一致取决于天生以及反省证实的硬件，和天生证实的电路的巨细。但这边须要留神的枢纽是，不管所示意的法式是甚么，证实的巨细总是相对于较小，所以验证者反省证实的负担是有限的。然而，这边有一些奥秘之处：对付像Plonky2这样利用基于FRI的许诺规划的证实系统，证实巨细大概会推广。(除非它被包装正在一个基于配对于的SNARK中，如Plonk或Groth16，它们的巨细没有会随着语句的繁复性而增添。)

这边呆币安官网入口板练习模子的寄义是，一旦你妄图了一个证实系统，确切地核示一个模子，理论验证输出的老本将很是昂贵。开垦人员必需思虑至多的办事是证实时光以及内存：以一种也许相对于加紧地证实模子的办法示意币安登录地址模子，并且巴望的证实巨细正在多少千字节上下。为了证实呆板练习模子正在零学识下的正确施行，你须要对于模子架构(层、节点以及激活函数)、参数、制约以及矩阵乘法操作施行编码，并将它们示意为电路。这触及到将这些属性分化为也许正在有限域上施行的算术运算。

该范畴仍处于起步阶段。正在将模子变换为电路的历程中，确切性以及保真度大概会受到作用。当一个模子被示意为一个算术电路时，那些前方提到的模子参数、制约以及矩阵乘法操作大概须要近似以及简化。当算术运算被编码为证实的有限域中的元素时，一些精度大概会丢掉(大概正在没有这些优化的状况下，利用现在的零学识框架天生证实的老本将高得离谱)。其余，为了准确起见，呆板练习模子的参数以及激活常常被编码为32位，但此日的零学识证实没有没法正在没有大度支出的状况下以须要的算术电路花样示意32位浮点运算。所以，开垦人员也许挑选利用量化的呆板练习模子，其32位整数一经变换为8位精度。这些类别的模子有利于示意为零学识证实，但被验证的模子大概是高质量初始模子的大略近似。

正在这个阶段，无能否认，这是一场追逐玩耍。随着零学识证实变得尤其优化，呆板练习模子的繁复性也正在增添。一经有许多有远景的优化范畴：证实递归也许经过禁止证实用作下一个证实的输入来削减大伙证实的巨细，解锁证实收缩。也有一些新兴的框架，例如Linear A的Apache张量假造机(TVM)的分支，它革新了一个转译器，用于将浮点数变换为零学识友爱的整数示意。最终，咱们a16z crypto悲观地以为，他日的处事将使正在SNARK中示意32位整数变得尤其正当。

“领域”的两种定义

零学识证实可经过收缩施行扩充：SNARK禁止你利用一个极端繁复的系统(假造机、呆板练习模子)，并以数学办法示意它，以便验证它的老本小于运行它的老本。另一方面，呆板练习经过扩充来扩充：此日的模子随着更多的数据、参数以及GPU/TPU到场锻炼以及推理历程而变得更好。焦点化的公司也许以多少乎没有受限制的领域运行办事器：按月收取API挪用用度，并支拨经营老本。

区块链收集的经济实际多少乎以相反的办法运行：激动开垦人员优化他们的代码，使其正在算计上可行(并且昂贵)。这种错误称有一个辽阔的优点：它发觉了一个证实系统须要变得更无效的境况。咱们应该驱策正在呆板练习中要求区块链供给异样的优点——便可验证的一切权以及共享的谬误概念。

虽然区块链激发了zk-SNARK的优化，但算计的每个范畴都将受害。