Everything you care about in one place
Follow feeds: blogs, news, RSS and more. An effortless way to read and digest content of your choice.
Get Feederwechat2rss.xlab.app
小迪随笔
Get the latest updates from 小迪随笔 directly as they happen.
Follow now 20 followers
Latest posts
Last updated 9 days ago
机器人发展的速度可能比我们预期的要快很多
10 days ago
小迪随笔 2025-10-25 11:09 广东 这次参加IROS 2025大会和智元的大会，与很多专家深聊，又偶遇十几个高校的孩子，听他们聊他们的思考，心里非常的高兴，有几点业务洞察外的宏观思考： 1、我之前以为很多事情不可为，比如我不看好VLA，但这种观点可能过于静态和过于线性了，因为如今5倍10倍的人才和钱进来这个赛道，之前本来要10年才能见到希望的技术，有没有可能5年3年甚至1年解决？技术的发展因为人才的涌入，发展是动态且非线性的，甚至会出现指数级突破。 2、在AI时代，个人和组织的优势不再是创意和信息差，再完美的创意和再多的信息差，总会有人在AI的帮助下轻松得到或者不那么难的得到，这时拼什么？拼执行力啊！一样或者差不多的创意和信息前面，拼的就是手速、拼的就是执行、拼的就是组织活力！应了那句管理名言：方向大致正确，组织充满活力！想那么多没用，谁能做出来，谁能很好的做出来，谁能很快的很好的做出来，谁就赢！ 3、人与人在事业上最大的区别不是智商情商，而是长久坚持某个赛道的耐力，耐力来自哪里？来自内发的激情！无论是年轻的面孔，还是做了机器人几十年的前辈，他们???到大脑、小脑、感知、导航、机器臂等等时的激情，你不用有很高的情商就能非常清晰的感觉到。激情澎湃，是做好事业的最重要的因素！ 跳转微信打开
OpenAI 发布会里一页价值万亿的PPT
26 days ago
原创 刘洪善 2025-10-09 00:47 广东 最近OpenAI的发布会，信息量很大。特别是其中一页PPT（如下图所示），列出了他们tokens累计消耗量最大的客户，是支撑OpenAI估值上万亿人民币的核心客户，而每个客户背后的公司，都可能隐藏着启发中国大模型产品创新与创业的密码，值得细细研究。一、数据梗概从PPT看，这里面的客户分3档，分别消耗了1T、100B与10B量级的Tokens，其中：消耗了1T及以上的客户，共有30个。消耗了100B及以上的客户，共有70个。消耗了10B及以上的客户，共有54个。因为OpenAI只给了一个量级，这些客户在OpenAI具体消耗多少Tokens、花费了多少钱我们无从得知，但可以做一个大致的测算。我在网上找到了排名第二的客户发的推文（如下图所示），他明确说了他们公司的Tokens的消耗量是9.6T，因此，合理推测最高的消耗量级就是10T左右了，其他的客户依次递减。他们大概消费了多少钱？不同应用类型，其输入输出Tokens的消耗比例是不同的，在大多数大模型产品中，输出 tokens 通常是输入 tokens 的1.5到3倍，而一些应用，比如文档总结、会议纪要等应用，则是输入远大于输出，因此，按GPT 5最新的输入价格1.25美元/百万Tokens、输出价格10美元/百万Tokens计算，如下表所示，使用了1T的客户大约消费了600到800万美元，费用还是非常可观的。比例费用类说明输出 :...
爆火的VLA无???实现通用机器人智能
about 1 month ago
原创 刘洪善 2025-09-24 01:02 广东 好久不写，随便写写 受自动驾驶的影响和启发，在机器人智能/具身智能领域，VLA（Vision-Language-Action，视觉-语言-行动）异常火爆，风头正盛。但我认为，这条路线存在根本性缺陷，回归可解释、结构化的分层路线，是一个至少十年不变的务实选择。一、VLA存在的问题的表象通过最近几篇研究工作，可大致描摹出VLA 存在的问题。在论文Exploring the Limits of Vision-Language-Action...
爆火的VLA无法实现通用机器人智能
about 1 month ago
原创 刘洪善 2025-09-24 01:02 广东 好久不写，随便写写 受自动驾驶的影响和启发，在机器人智能/具身智能领域，VLA（Vision-Language-Action，视觉-语言-行动）异常火爆，风头正盛。但我认为，这条路线存在根本性缺陷，回归可解释、结构化的分层路线，是一个至少十年不变的务实选择。一、VLA存在的问题的表象通过最近几篇研究工作，可大致描摹出VLA 存在的问题。在论文Exploring the Limits of Vision-Language-Action...
一个伟大的技术趋势
11 months ago
原创 刘洪善 2024-12-22 23:46 广东 具身智能机器人的到来已无可阻挡 最近1年半，由于组织安排和个人兴趣，结束了从事了10年的网络安全事业，转而做AI大模型相关的研究。特别是对具身智能机器人的研究，虽处早期，但兴味盎然，乐此不疲，与几位年轻有为的小伙伴一起，每天分享讨论，不亦乐乎。当然，除了个人的技术爱好，还有一点，就是看到了一个在快速孕育的伟大的技术趋势：AI从数字世界往物理世界发展，即具身智能机器人的出现已经无可阻挡。之所以作如此判断，是因为切身感受到了以大模型为代表的AI技术的快速发展，让人类第一次可能有了处处可用的平权的“智力引擎”，其意义，不亚于1764年瓦特发明的蒸汽机这个“动力引擎”。技术的发展往往不是线性的，而是会在某个时刻突飞猛进。比如在蒸汽机发明后约100年后出现的内燃机，其应用于汽车，颠覆美国道路上的马车的时间仅用了15年——1907年到1922年，马匹在美国道路上的行驶里程，从占比95%下降到不到20%。为什么内燃机能如此快速地取代马匹呢？道理其实很简单：汽车性能比马车高得多，能行驶的距离比马车远得多，但每英里行驶成本只有马车的十分之一不到。纵观技术发展史，每当某个新技术的成本是原有技术的十分之一甚至更少时，颠覆就会发生。因此，从第一台可量产的汽车诞生起，马匹作为一种交通工具的命运早已注定。而具身智能就是机器人的“内燃机”，其与机器人结合，必将是又一场深刻的革命：未来20年，人类的绝大部分体力劳动，将由具身智能机器人，特别是人形机器人来替代。道理也很简单，与人类劳动相比，人形机器人的工作时长是人类的三倍多，而随着劳动时长的增加，其能力还将通过AI不断增强：刚开始有点“弱智”，经常摔跤、搞坏东西，被人嘲笑；慢慢的，在某些场景某些任务的能力与人类基本差不多；再后来，其效率和能力超过人类。也就是说，机器人边际成本会越来越低：每一块钱能“买”到的劳动力越来越多、越来越好。而且虽然说来很残酷，但相比人类，机器人不会休假、不会生病、不会抱怨，也不需要各种社会福利，其隐性用工成本为0。综合算起来，机器人在某些部门或者某项工作中，达到人类劳动力成本的十分之一，是板上钉钉的事。届时，颠覆不就产生了吗？一旦达到这个颠覆的临界点，机器人将遍布全球主要经济部门，生产力的发展与劳动力的丰富程度再无依赖关系，而与本国机器人的部署量成正比，生产力将极大发展，商品将极大丰富，产品质量将极大提升。正如马斯克所言：“可以预见，借助机器人的力量，我们将创造一个商品和服务极度充裕的时代，人人都能过上富足的生活。或许，未来唯一存在的稀缺，是我们作为人类来创造我们自己。”（迈入共产主义，居然是通过机器人？）所以，尽管尚处早期，鉴于具身智能机器人将为人类带来的美好前景，各国花费一定的资源对其进行长期投资，鼓励人们去研究、探索和创新是合理的。即使纯粹从商业角度，未来20年，全球老龄化、劳动力短缺，几乎是一个不可逆的趋势，机器人部署超过1亿台、10亿台甚至如马斯克乐观估计的超过200亿台是有可能的，市场空间是百万亿人民币级别的，远大于汽车和手机行业，其有利可图是必然的。随着机器人部署量的不断扩大，提早规划当代人的生活，让人们特别是弱势群体平缓的进入下一个时代是必须的。探索如全面基本收入等手段，让每一代人不因机器人的出现而破产，而是过上更好的生活，这是我们发展包括机器人在内的技术的初心，偏离了“让生活更加美好”这一初心，制造机器人的目的何在？但回顾历史，我们往往过于热衷新技术带来的美好前景，而忽视了新技术给当代人带来的经济破坏和精神痛苦，我们在机器人的发展上，切不可重蹈覆辙，因为它的颠覆效果，比以往任何一种技术更甚。甚至就在当下，自动驾驶这类机器人，已经开始给广大的以司机为职业的人们带来了不好的经济影响和精神压力。但无论如何，具身智能机器人，“它是站在海岸遥望海中已经看得见桅杆尖头了的一只航船，它是立于高山之巅远看东方已见光芒四射喷薄欲出的一轮朝日，它是躁动于母腹中的快要成熟了的一个婴儿”，我们应当张开双臂，热烈拥抱它的到来。 阅读原文 跳转微信打开
刘洪善：大模型，重构安全产品体验
over 1 year ago
原创 刘洪善 2024-07-13 15:00 广东 给女儿的六一礼物：虎妞爸的演讲稿 注：本文基于刘洪善5月25日在“2024OWASP中国数据&AI安全技术沙龙”作的主题演讲删改，网安加社区授权本公众号发布，以作为刘洪善最爱的女儿的第三个六一儿童节的小礼物。刘志诚老师（左）与宋荆汉院长（右）为刘洪善（中）授予特聘专家荣誉演讲全文不好意思，前几天拔了颗牙，所以戴着口罩，不礼貌，对不起兄弟们。去年我分享了大模型安全方面的进展，今天则想畅想一下如何利用大模型重构网络安全产品的体验。一、对大模型的几个简单思考自从22年底ChatGPT火爆之后，AI首次大规模直面C端用户，以往都是各类算法不同的小模型零散地应用于各业务中，用户没有明显感知到AI的存在。媒体和产业界通常使用“大模型”来指代这一波AI技术浪潮。但业界对大模型其实并没有明确的定义，当然，“参数大”和“生成式”是这波大模型技术浪潮的2个基本特征，所以准确的说法，应该叫“生成式AI大模型???。这是我从一本著名的讲解大模型的文章《这就是ChatGPT》中截取的图片，它通俗的说明了什么是大模型：伽利略做自由落体实验，积累了许多数据，堆满了实验室，但这么多数据最后只总结成了一个简单的函数，以代表自由落体运动的物理规律。大模型本质上是一个超级大的函数，通过输入大量数据进行训练后，不断调整这个函数的权重，最后抽象出这些数据背后的共同规律或者函数表示，以预测输入之后的下一个词（Token）是什么。这种预测能力，要求它去“理解”文本代表的人类世界的含义。顾名思义，大模型之所以这么神奇，核心原因就是“大”。AI行业有一篇著名的论文，名为《The bitter lesson》，在这篇论文中提出一个简单的道理，即我们利用各种新奇算法来解决的问题，最后发现都不如大力出奇迹，直接用简单的算法加大量的算力，反而是终极解决方案，这就是大模型得以出现的思想基础。可以说OpenAI一帮杰出的科学家，用工程实践，“重新”发现了这一原则，也即著名的“Scaling Law”。大模型的训练，分为四个阶段。第一阶段，是用大量数据进行预训练，得到基础大模型，这时大模型有了大量的人类知识，但生成方式不可控，只知道预测下一个词（Token），一直给你补下一个词，生成的内容可能对人类而言是无意义的。第二阶段，使用少量人类标注好的高质量问答对数据对大模型进行微调，实际就是在已经得到的基础大模型的基础上改变部分权重，使得确定的知识得到确定的回答，得到有监督微调模型。第三阶段，对得到的模型的同一提示的不同回答进行人类评分，基于评分数据，训练出一个奖励模型来使得模型的输出与人类价值观对齐。第四阶段，则是综合以上阶段进行强化学习，调优成最终模型。其实阶段三和四合在一起，就叫人类强化学习。ChatGPT为什么能在这个时间点出现，让大模型爆火？除了OpenAI的集体努力，还得益于摩尔定律使得算力提升了数10亿倍，另外，互联网的普及，为大模型的诞生积累了大量数据，缺一不可。那大模型有什么技术特点，让业内人士这么兴奋呢？首先，海量的人类数据，让它拥有了海量的人类知识。其次，知识密度导致它有或者看上去有一定的推理能力，也就是智能涌现，具有了“大脑”的特征。再次，“大脑”的存在，使得通过大模型统一的联接各类服务和???据，打破服务和数据的孤岛状态成为可能。再次，是新交互，也就是多模态交互，它现在能够理解语言、图片、视频等，非常像人类的学习和沟通方式。最后，大模型所广为人知的缺点，但在我看来其实也是优点，就是有幻觉，如果你需要正经、严肃的答案，那么有时候可能会胡说八道，但如果你需要创造力和想象力，大模型的幻觉就是创造力和想象力。基于这5个特点，结合现有产品和业务场景，就能摸索出提升用户体验和业务指标的办法。总的来说，它是一个什么都懂，口才非常好，学习能力超强，完成工作非常迅速，充满想象力，不休不眠的初级员工。OpenAI的副总裁在接受采访时也表示，有了GPT4，你可以认为有了无限数量的实习生，但你要怎么用好这些实习生来创造价值？这是需要思考的组织学问题。在AI领域做产品，受2个因素制约，一个是用户需求，另外一个是技术边界。传统的软件技术发展到现在，你只要有用户需求，很少有实现不了的软件技术。但在AI领域，特别是大模型这个领域，它的输出其实是不稳定的，因为它的底层数学原理是基于概率统计的，那它的输出就有不稳定性，这一点也跟人类很像，人类的表现也不会是始终如一的，这时你就要考虑技术边界的问题，在当前大模型的技术边界内做产品，这也是一个必须遵守的“物理定律”。那目前业界主要用大模型来做什么产品？主流都是往智能体方向发展，有三个方向：情感陪伴、个人助理和行业智能。情感陪伴，追求的是让智能体具有类人的特点，以拟人的方式与用户沟通，回应用户的情感陪伴诉求，典型的产品是Character.AI，比较知名的形象，是电影《Her》里面的萨曼莎。要攻破的难点，是怎么在多模态大模型的基础上，微调出一个有长期记忆、有个性的助理。个人助理，是行业中花费最多人力和资源想去实现的产品，主要是想帮用户解决重复复杂的非过程类任务，或者说是用户只想得到一个结果，但不想体验过程的任务，其实也可以叫“软件自动驾驶”，比如订明天去北京的酒店机票，给一个时间和地点，制定合理的出行攻略等等，也就是一个管家的角色，类似于《钢铁侠》里的贾维斯。这类助理，实际就是在现有的产品，比如现有的手机操作系统之上，构建一个以大模型为大脑，以调度软件操作为四肢的“智能代理”或者“智能体”，从而组成一个“手机自动驾驶系统”。思路是不难，难的是实现，最大的问题是生态，因为你要“驾驶”的是各种软件，哪个软件愿意不触达用户，而愿意甘当绿叶去让你“驾驶”？他们的流量不要了？现有的商业模式不要了？只为做助理的公司，比如手机厂商打工？不可能，完全不可能。所以未来，更大的可能是各类软件也会拥抱大模型，形成自己的大模型助理。以后是助理和助理之间沟通，而不是用户和助理之间沟通。比如我要订一个机票，那我的手机助理自己去跟美团的大模型助理沟通，给我一个结果就行，这起码部分保障了软件生态的利益。除此之外，成本、时延、硬件适配等等都是一个???难题。但我是坚定这个方向是对的。目前处于中间状态的典型就是微软的Copilot系列产品，这个系列虽然还是“辅助驾驶”，但辅助驾驶，是通往自动驾驶的必经之路。有人会问，为什么微软的Copilot系列不存在生态问题？因为这些产品本来就是他家的啊！所以，我还是那个观点，目前，先把自家的产品优化了，再去谈生态，不要一下子操那么大的心。行业智能，针对特定的行业需求，如教育、医疗等，利用特定的数据集去微调，以获得特定行业的知识和应用。演讲的第二部分，会以安全行业为例来稍微展开。再说说大模型的成本问题。虽然在我作这个演讲的时候，各大云厂商正好在做大模型价格战，但真正高质量的大模型的成本问题仍然是大模型技术普及最大的障碍，因为在价格战中的大模型要么质量一般，要么其实你只要真的大量调用，肯定来个“升级”交费，所以成本没有什么本质改变。对手机厂商或者互联网厂商而言，一个1000万日活的内置了大模型的应用，调用一次需要大概1分钱，基本上用户如果每天使用10次的话，一天就要花100万人民币。1000万日活的应用在行业里并不算很高，如果是上亿的用户，都把大模型类的应用用起来，那成本是哪个企业也接受不了的。所以目前大模型相关的应用用户并不多，多了之后，如何变现，也是一个悬在行业头上的绕不过去的大问题。成本的原因也导致端云结合、大小结合是必然。例如将70亿以下端侧模型，与1000亿左右的云侧模型相结合，复杂任务用大的，简单任务用小的。基础大模型最终会与云计算一样，全球一定会只剩下几家，多了没有必要，因为没有带来什么不同的差异和价值，其他个人和公司就基于基础模型做应用。目前国内的模型是过剩状态，过2年，80%的基础模型公司都不会继续存在，因为在商业上，说不通，投资回不来。大模型无论怎么组合使用，首要原则就是用户导向、产品驱动。虽然我提到了目前行业在发力智能体，做情感陪伴、个人助理和行业智能，但都刚刚开始，我不像业界某些专家大佬那么乐观，他们说今年一定会爆发大模型的杀手级应用，我看不到这个趋势。我认为这几年，用大模型来对现有产品和业务进行提升，是毫无意义的主流。你非要说杀手级应用，我认为现在最大的杀手级应用就是ChatGPT，但它的流量和日活是有下降趋势的，因为也没人会天天跟一个机器人闲聊，也没那么多问题天天问。所以，好好的去考察你现有的产品和业务的刚需高频的痛点，看看能不能用大模型去解决或者部分改善，才是一条比较务实的道路，例如大模型结合手机、汽车、VR等硬件，去提升用户体验，产生粘性，最终实现投资变现。能够短期投资变现，才有长期未来。总的来说，我今天恐怕就是作为一个布道者，来鼓吹大模型的，因为我认为大模型是人人可用的技术，大模型的暴力美学，将AI技术、软件技术的门槛打低到每个企业、每个人都可以构建自己的大模型来重构业务和产品体验的程度，算法和代码不再是普通人的门槛。这样的平权的智力引擎，历史上什么出现过？这是多么激动人心的大事件啊！一定要拥抱拥抱再拥抱！二、大???型可能如何重构安全产品的体验因为我没有实际做过这方面的工作，所以我一再强调，只是畅想，抛砖引玉。通用大模型虽然很好，但它很难既通用、又专业、还便宜，也是一个“不可能三角”，因为通用大模型的数据，大部分是从网上爬来的，而行业数据绝大部分不会放在网上，大模型缺乏行业知识这是再正常不过了。所以通用大模型在某些特定领域的专业性不足，这就导致了前面我说的第三个方向——行业智能的发展是必然趋势。通过哪些手段，去获得特定行业特定领域的专业的大模型呢？主要是提示工程、检索增强生成、微调和预训练。首先是提示工程，这个成本最低，基本方法是不断尝试不同输入，观察通用大模型能否给出更好的答案。这基于一个假设，那就是通用大模型已经具备了这个行业的某些知识。对浅度的知识，一般也可以满足的。第二个是检索增强生成RAG，可以简单理解成把行业知识向量化之后，变成一个外挂知识库，当你询问大模型时，先去知识库检索跟问题相关的的知识，放到输入提示里，让大模型来理解和生成更专业的答案。因为这个方法不需要用数据来改变大模型的权重，保密性较好，是目前行业首选的方案。第三个是微调，前面已经说过它的一般方法。它要求高质量的数据整理，并且数据会被内化到大模型的权重里，如果不是私有部署的大模型，有数据泄露的风险。最后是预训练。由于代价很高，一般企业不会使用。上面的几个手段，得到一个行业大模型之后，与安全产品结合，可能会有怎样的体验提升？我这里抛砖引玉，提几个场景讨论讨论。首先，是安全知识沉淀。将企业积累的知识库和专家经验变成数据集之后，在基础大模型上进行微调；或者切片量化后形成RAG。这样，公司可以有一个体验更好的知识沉淀和变现方式，而不是干巴巴的文档传承；专家也能更好的传承自己的经验。另外，对初级安全人员和非安全人士，在遇到不懂的问题时，可以有一个快速解惑的渠道。当然，也可以面向企业内一般员工做更有趣的信息安全知识科普等等。第二个是安全智能体。即通过好的运营，鼓励专家基于安全智能体平台创建和导入个人经验，给活跃和受欢迎的专家以激励，实现高质量知识和数据的“众筹”，也能一定程度解决企业有数据但没有整理形成的数据来源问题。比如，我写的几百篇安全产品和技术文章，能否导到智能体平台去微调或者形成RAG，得到一个“刘洪善智能体”？别人跟这个智能体对话，基本和我对话差不多，因为我知识储备也就是这几百篇文章。第三个是代码安全扫描与分析。传统扫描器一个很大的问题，是无法识别长一些的代码上下文的安全问题，为了效率，很多企业是将代码切片后扫描的。但上下文理解，正好是大模型擅长的地方之一，通过大模型的广博的代码知识和上下文理解能力，有可能发现传统扫描器无法识别的代码安全问题。这是去年ChatGPT刚火的时候，我写的一个安全专利的???本思路，也申请通过了，其实很简单，但实现起来不容易。第四个是安全数据分析。比如我之前做安全运维时，动辄收到几万条报警信息，无论是漏报、误报还是真报，人工方式去检查总是难以应付的，大模型能否在这方面发力？联系起它是一个数量近乎无限的实习生的定位，让几万个实习生去验证几万条报警，似乎是瞬间完成的事。这个方向虽然看着很兴奋，但因为现在的数据一是量大，二是格式各种各样，不只是文本的，怎么整理成大模型可理解的数据形式，本身就是个难题，三是实时性无法保障，所以也抛出来同大家一起研究。第五个是安全信息总结。前面我也提过，信息总结也是大模型最擅长的领域。比如把安全相关的书本、资料、链接丢给大模型，就可以立马总结出核心要点，并且可以做到多轮问答、多轮追问。对安全专业的学生，写论文会有较大帮助；对安全行业从业者也可以从中节省大量的时间，又获得精炼的安全知识和资讯。最后，是安全自动驾驶。即利用大模型Agent的感知、决策、执行能力，包括调度工具的功能，进行自动的安全态势判断，并执行相应的安全策略。前面我说过，这是业界都在探索的方向，但实现起来有非常多的工程难题，有赖于技术的进一步发展。以上只是一些随意的畅想，其实深入到每个产品，每个场景，肯定都会有大模型的用武之处，欢迎大家基于大模型的特点，继续畅想和讨论。另外，要真实践起来，肯定会有许多工程难题，但积极尝试是必不可少的，所谓沿途下蛋，你往那个方向冲，只是冲到一半，可能你已经是最厉害的人了，总比不冲好。三、大模型是天下人的大模型我前面讲了这么多，我总的是想告诉大家一句话，我认为大模型技术具有很好的前景和潜力，与各行各业，包括安全行业结合，肯定会有很多化学反应，我一点都不怀疑。当然，前途是光明的，道路是曲折的，还有很多工作要做。经过一年的交流，我也发现大家会有一种焦虑，就是认为大模型技术变化太快，无所适从，总怕自己投资下去，一个新的大模型出来，之前的投资是否失败或者废弃了？这经常让我想起亚马逊创始人贝佐斯的一句话“我常被问一个问题：‘在接下来的10年里，会有什么样的变化？’但我很少被问到‘在接下来的10年里，什么是不变的？’我认为第二个问题比第一个问题更加重要，因为你需要将你的战略建立在不变的事物上。”同样的道理，无论AI技术怎么快速发展，我们都要在变化中寻找那些不变或者基本不变的东西，我认为就是一套以客户需求为导向的业务框架。在这套框架里，大模型只是一个智力引擎，其他投资是四肢。客户需求是相对稳定的，框架也是相对稳定的。一定要在客户需求框架下思考AI大模型与业务的深度融合。有了框架，则技术的变换，只是换了引擎，其他零部件的投资并没有被放弃。最重要的是，能够在一个相对稳定的框架下，不断积累业务经验。最后，说了那么多的壮怀激烈、雄心壮志，咱们回归现实，自己往自己头上浇点冷水，清醒清醒。大家应该都知道著名的跨越鸿沟理论，即一个新技术刚开始的时候，依次要经历几个采纳周期。刚开始，通常是一批创新者或者发烧友先尝试这个技术，即使产品体验不好，他们也愿意探索，去发现技术背后激动人心的价值。他们往往会把这个技术推销给另外一波人，叫做早期使用者，他们通常是社会精英，胸怀大志、手握大权，只要他们也认识到这个技术的潜力，那么，就会有大量的资源投资往这个技术，从而加速这个技术的发展，典型的如微软的比尔盖茨对OpenAI的投资，刚开始他不看好，但后面他看好之后，OpenAI从微软拿到了天量的资源去快速发展他们的技术。技术有了发展，产品有了提升，但如果不普及到广大群众里，其实是没法闭环投资的，因为量不够。量不够，那就永远只是少数人的昂贵玩具。怎么让玩具变成一个人人可用的消费品、从而产生一个巨大的行业？这就是早期使用者和早期大众之间巨大的鸿沟。目前大模型就处于这个鸿沟的左边，远远没到普及的程度，技术成熟度、产品体验和成本都是一道道鸿沟。当然，大家感觉大模型这2年如火如荼，那是因为你是从业者，你可以询问你的妻子或者亲戚，他们大概率不了解大模型的含义，也没用过大模型的应用，或者用过了也不知道什么大模型小模型。所以大家不要过于亢奋，要把大模型技术普及开，还需要开展很多艰苦的工作。第一，中美大模型还存在较大差距，这是毋庸置疑的。我经常看到一些公司经常跳出来说中美大模型差距3个月、6个月、不到1年等等，我就觉得这是在误人子弟。我们不宜妄自菲薄，但也不宜盲目乐观。我觉得大模型的从业者一定要头脑冷静下来，务实、敬畏的向一切强于我们的人学习，学习的前提是清晰的知道自己的差距，最起码，承认确实有差距。中美顶尖大模型的差距绝对不止6个月，不能是人家发布了一个模型，你基于研究别人的基础上用6个月追上了，所以差距是6个月；那是别人厚积薄发，正常迭代版本出来的水平，那要是GPT5憋个大招，迟迟不发布，你用什么去追赶？创新能力的差距，用时间来衡量是不对的，正确的衡量方式是我们的创新氛围、创新能力组成的一个整体的创新引领能力的差距，这种差距，都是5年10年为纬度的差距，因为要做很多基础工作，比如AI课程进入课堂，培养大量的科学家，给人才以宽松的研究环境，这都是说了几十年而未解决的老大难问题。我们可以以实用主义的态度，去用别人已经走出来的经验，站在巨人的肩膀上看得更远，但如果巨人不让你站在他肩膀上了呢？所以要清醒的认识差距，好好的在真正需要努力的地方去自立自强。但另外一方面，也要思考，目前的业务，目前的大模型能力，是否够用？目前的环境下，没法说你的基础大模型是最强的，也没有必要，这个东西本来就在快速演进，你能做的是思考什么业务什么场景需要大模型来解决什么问题，现在的技术够不够你去解决这个问题。第二，数据多不等于数据好。这是我与行业交流多年后得出的感受。我们经常说自己是数据大国，这没错。但我发现很多企业并未进行数据整理，数据库里有数据，硬盘里也存了几百GB、几TB的数据，可仔细分析起来，要么很多是无效数据，例如过程记录或者警告记录，要么没有整理成AI可训练的数据格式，或者缺失的数据维度，没法在市场上获得，这基本是一个数据生态的构建问题。所以，目前中文高质量数据集可能只占了全球的1%-3%。没有数据，哪来的AI ？这是一个现实，我们必须努力构建数据生态。第三，大模型人才不是天上掉下来的，是在实践中培养出来的，不要一开始就想得到一个又有大模型技术产品理解，又有行业知识的人才，这样的人，你基本找不到，因为这样的人要么自己创业了，要么已经被人重金挖走了，所以还是要靠自己培养。我前面也说了，大模型其实从原理到应用，门槛已经很低了，培养人的成本并不高。当然，最基础的算法方面的知识，还是有一定门槛的，需要不断加强该领域基础知识的学习。第四，开源闭源、大模型小模型不重要，最重要的是场景真的需要。研究业务场景与大模型的结合，应该是每一个企业的核心工作。第五，这一轮技术浪潮带来的变革才刚刚开始，我认为大家都在探索和起步，谁也不比谁懂得更多，别着急，耐心点。个人要沉下心去学习和实践，企业也可以作为一个孵化业务推进，给大家一些空间。最后，我衷心认为大模型对每个企业、每个人都是一个大好的历史机会，真是一个百年未有之大变局，大家可以结合现有工作，各自探索、研究、投资，广阔天地，大有可为。今天的分享，时间有点超了，谢谢大家。 阅读原文...
刘洪善：大模型，重构安全产品体验
over 1 year ago
原创 刘洪善 2024-07-13 15:00 广东 给女儿的六一礼物：虎妞爸的演讲稿 注：本文基于刘洪善5月25日在“2024OWASP中国数据&AI安全技术沙龙”作的主题演讲删改，网安加社区授权本公众号发布，以作为刘洪善最爱的女儿的第三个六一儿童节的小礼物。刘志诚老师（左）与宋荆汉院长（右）为刘洪善（中）授予特聘专家荣誉演讲全文不好意思，前几天拔了颗牙，所以戴着口罩，不礼貌，对不起兄弟们。去年我分享了大模型安全方面的进展，今天则想畅想一下如何利用大模型重构网络安全产品的体验。一、对大模型的几个简单思考自从22年底ChatGPT火爆之后，AI首次大规模直面C端用户，以往都是各类算法不同的小模型零散地应用于各业务中，用户没有明显感知到AI的存在。媒体和产业界通常使用“大模型”来指代这一波AI技术浪潮。但业界对大模型其实并没有明确的定义，当然，“参数大”和“生成式”是这波大模型技术浪潮的2个基本特征，所以准确的说法，应该叫“生成式AI大模型”。这是我从一本著名的讲解大模型的文章《这就是ChatGPT》中截取的图片，它通俗的说明了什么是大模型：伽利略做自由落体实验，积累了许多数据，堆满了实验室，但这么多数据最后只总结成了一个简单的函数，以代表自由落体运动的物理规律。大模型本质上是一个超级大的函数，通过输入大量数据进行训练后，不断调整这个函数的权重，最后抽象出这些数据背后的共同规律或者函数表示，以预测输入之后的下一个词（Token）是什么。这种预测能力，要求它去“理解”文本代表的人类世界的含义。顾名思义，大模型之所以这么神奇，核心原因就是“大”。AI行业有一篇著名的论文，名为《The bitter lesson》，在这篇论文中提出一个简单的道理，即我们利用各种新奇算法来解决的问题，最后发现都不如大力出奇迹，直接用简单的算法加大量的算力，反而是终极解决方案，这就是大模型得以出现的思想基础。可以说OpenAI一帮杰出的科学家，用工程实践，“重新”发现了这一原则，也即著名的“Scaling Law”。大模型的训练，分为四个阶段。第一阶段，是用大量数据进行预训练，得到基础大模型，这时大模型有了大量的人类知识，但生成方式不可控，只知道预测下一个词（Token），一直给你补下一个词，生成的内容可能对人类而言是无意义的。第二阶段，使用少量人类标注好的高质量问答对数据对大模型进行微调，实际就是在已经得到的基础大模型的基础上改变部分权重，使得确定的知识得到确定的回答，得到有监督微调模型。第三阶段，对得到的模型的同一提示的不同回答进行人类评分，基于评分数据，训练出一个奖励模型来使得模型的输出与人类价值观对齐。第四阶段，则是综合以上阶段进行强化学习，调优成最终模型。其实阶段三和四合在一起，就叫人类强化学习。ChatGPT为什么能在这个时间点出现，让大模型爆火？除了OpenAI的集体努力，还得益于摩尔定律使得算力提升了数10亿倍，另外，互联网的普及，为大模型的诞生积累了大量数据，缺一不可。那大模型有什么技术特点，让业内人士这么兴奋呢？首先，海量的人类数据，让它拥有了海量的人类知识。其次，知识密度导致它有或者看上去有一定的推理能力，也就是智能涌现，具有了“大脑”的特征。再次，“大脑”的存在，使得通过大模型统一的联接各类服务和数据，打破服务和数据的孤岛状态成为可能。再次，是新交互，也就是多模态交互，它现在能够理解语言、图片、视频等，非常像人类的学习和沟通方式。最后，大模型所广为人知的缺点，但在我看来其实也是优点，就是有幻觉，如果你需要正经、严肃的答案，那么有时候可能会胡说八道，但如果你需要创造力和想象力，大???型的幻觉就是创造力和想象力。基于这5个特点，结合现有产品和业务场景，就能摸索出提升用户体验和业务指标的办法。总的来说，它是一个什么都懂，口才非常好，学习能力超强，完成工作非常迅速，充满想象力，不休不眠的初级员工。OpenAI的副总裁在接受采访时也表示，有了GPT4，你可以认为有了无限数量的实习生，但你要怎么用好这些实习生来创造价值？这是需要思考的组织学问题。在AI领域做产品，受2个因素制约，一个是用户需求，另外一个是技术边界。传统的软件技术发展到现在，你只要有用户需求，很少有实现不了的软件技术。但在AI领域，特别是大模型这个领域，它的输出其实是不稳定的，因为它的底层数学原理是基于概率统计的，那它的输出就有不稳定性，这一点也跟人类很像，人类的表现也不会是始终如一的，这时你就要考虑技术边界的问题，在当前大模型的技术边界内做产品，这也是一个必须遵守的“物理定律”。那目前业界主要用大模型来做什么产品？主流都是往智能体方向发展，有三个方向：情感陪伴、个人助理和行业智能。情感陪伴，追求的是让智能体具有类人的特点，以拟人的方式与用户沟通，回应用户的情感陪伴诉求，典型的产品是Character.AI，比较知名的形象，是电影《Her》里面的萨曼莎。要攻破的难点，是怎么在多模态大模型的基础上，微调出一个有长期记忆、有个性的助理。个人助理，是行业中花费最多人力和资源想去实现的产品，主要是想帮用户解决重复复杂的非过程类任务，或者说是用户只想得到一个结果，但不想体验过程的任务，其实也可以叫“软件自动驾驶”，比如订明天去北京的酒店机票，给一个时间和地点，制定合理的出行攻略等等，也就是一个管家的角色，类似于《钢铁侠》里的贾维斯。这类助理，实际就是在现有的产品，比如现有的手机操作系统之上，构建一个以大模型为大脑，以调度软件操作为四肢的“智能代理”或者“智能体”，从而组成一个“手机自动驾驶系统”。思路是不难，难的是实现，最大的问题是生态，因为你要“驾驶”的是各种软件，哪个软件愿意不触达用户，而愿意甘当绿叶去让你“驾驶”？他们的流量不要了？现有的商业模式不要了？只为做助理的公司，比如手机厂商打工？不可能，完全不可能。所以未来，更大的可能是各类软件也会拥抱大模型，形成自己的大模型助理。以后是助理和助理之间沟通，而不是用户和助理之间沟通。比如我要订一个机票，那我的手机助理自己去跟美团的大模型助理沟通，给我一个结果就行，这起码部分保障了软件生态的利益。除此之外，成本、时延、硬件适配等等都是一个个难题。但我是坚定这个方向是对的。目前处于中间状态的典型就是微软的Copilot系列产品，这个系列虽然还是“辅助驾驶”，但辅助驾驶，是通往自动驾驶的必经之路。有人会问，为什么微软的Copilot系列不存在生态问题？因为这些产品本来就是他家的啊！所以，我还是那个观点，目前，先把自家的产品优化了，再去谈生态，不要一下子操那么大的心。行业智能，针对特定的行业需求，如教育、医疗等，利用特定的数据集去微调，以获得特定行业的知识和应用。演讲的第二部分，会以安全行业为例来稍微展开。再说说大模型的成本问题。虽然在我作这个演讲的时候，各大云厂商正好在做大模型价格战，但真正高质量的大模型的成本问题仍然是大模型技术普及最大的障碍，因为在价格战中的大模型要么质量一般，要么其实你只要真的大量调用，肯定来个“升级”交费，所以成本没有什么本质改变。对手机厂商或者互联网厂商而言，一个1000万日活的内置了大模型的应用，调用一次需要大概1分钱，基本上用户如果每天使用10次的话，一天就要花100万人民币。1000万日活的应用在行业里并不算很高，如果是上亿的用户，都把大模型类的应用用起来，那成本是哪个企业也接受不了的。所以目前大模型相关的应用用户并不多，多了之后，如何变现，也是一个悬在行业头上的绕不过去的大问题。成本的原因也导致端云结合、大小结合是必然。例如将70亿以下端侧模型，与1000亿左右的云侧模型相结合，复杂任务用大的，简单任务用小的。基础大模型最终会与云计算一样，全球一定会只剩下几家，多了没有必要，因为没有带来什么不同的差异和价值，其他个人和公司就基于基础模型做应用。目前国内的模型是过剩状态，过2年，80%的基础模型公司都不会继续存在，因为在商业上，说不通，投资回不来。大模型无论怎么组合使用，首要原则就是用户导向、产品驱动。虽然我提到了目前行业在发力智能体，做情感陪伴、个人助理和行业智能，但都刚刚开始，我不像业界某些专家大佬那么乐观，他们说今年一定会爆发大模型的杀手级应用，我看不到这个趋势。我认为这几年，用大模型来对现有产品和业务进行提升，是毫无意义的主流。你非要说杀手级应用，我认为现在最大的杀手级应用就是ChatGPT，但它的流量和日活是有下降趋势的，因为也没人会天天跟一个机器人闲聊，也没那么多问题天天问。所以，好好的去考察你现有的产品和业务的刚需高频的痛点，看看能不能用大模型去解决或者部分改善，才是一条比较务实的道路，例如大模型结合手机、汽车、VR等硬件，去提升用户体验，产生粘性，最终实现投资变现。能够短期投资变现，才有长期未来。总的来说，我今天恐怕就是作为一个布道者，来鼓吹大模型的，因为我认为大模型是人人可用的技术，大模型的暴力美学，将AI技术、软件技术的门槛打低到每个企业、每个人都可以构建自己的大模型来重构业务和产品体验的程度，算法和代码不再是普通人的门槛。这样的平权的智力引擎，历史上什么出现过？这是多么激动人心的大事件啊！一定要拥抱拥抱再拥抱！二、大模型可能如何重构安全产品的体验因为我没有实际做过这方面的工作，所以我一再强调，只是畅想，抛砖引玉。通用大模型虽然很好，但它很难既通用、又专业、还便宜，也是一个“不可能三角”，因为通用大模型的数据，大部分是从网上爬来的，而行业数据绝大部分不会放在网上，大模型缺乏行业知识这是再正常不过了。所以通用大模型在某些特定领域的专业性不足，这就导致了前面我说的第三个方向——行业智能的发展是必然趋势。通过哪些手段，去获得特定行业特定领域的专业的大模型呢？主要是提示工程、检索增强生成、微调和预训练。首先是提示工程，这个成本最低，基本方法是不断尝试不同输入，观察通用大模型能否给出更好的答案。这基于一个假设，那就是通用大模型已经具备了这个行业的某些知识。对浅度的知识，一般也可以满足的。第二个是检索增强生成RAG，可以简单理解成把行业知识向量化之后，变成一个外挂知识库，当你询问大模型时，先去知识库检索跟问题相关的的知识，放到输入提示里，让大模型来理解和生成更专业的答案。因为这个方法不需要用数据来改变大模型的权重，保密性较好，是目前行业首选的方案。第三个是微调，前面已经说过它的一般方法。它要求高质量的数据整理，并且数据会被内化到大模型的权重里，如果不是私有部署的大模型，有数据泄露的风险。最后是预训练。由于代价很高，一般企业不会使用。上面的几个手段，得到一个行业大模型之后，与安全产品结合，可能会有怎样的体验提升？我这里抛砖引玉，提几个场景讨论讨论。首先，是安全知识沉淀。将企业积累的知识库和专家经验变成数据集之后，在基础大模型上进行微调；或者切片量化后形成RAG。这样，公司可以有一个体验更好的知识沉淀和变现方式，而不是干巴巴的文档传承；专家也能更好的传承自己的经验。另外，对初级安全人员和非安全人士，在遇到不懂的问题时，可以有一个快速解惑的渠道。当然，也可以面向企业内一般员工做更有趣的信息安全知识科普等等。第二个是安全智能体。即通过好的运营，鼓励专家基于安全智能体平台创建和导入个人经验，给活跃和受欢迎的专家以激励，实现高质量知识和数据的“众筹”，也能一定程度解决企业有数据但没有整理形成的数据来源问题。比如，我写的几百篇安全产品和技术文章，能否导到智能体平台去微调或者形成RAG，得到一个“刘洪善智能体”？别人跟这个智能体对话，基本和我对话差不多，因为我知识储备也就是这几百篇文章。第三个是代码安全扫描与分析。传统扫描器一个很大的问题，是无法识别长一些的代码上下文的安全问题，为了效率，很多企业是将代码切片后扫描的。但上下文理解，正好是大模型擅长的地方之一，通过大模型的广博的代码知识和上下文理解能力，有可能发现传统扫描器无法识别的代码安全问题。这是去年ChatGPT刚火的时候，我写的一个安全专利的基本思路，也申请通过了，其实很简单，但实现起来不容易。第四个是安全数据分析。比如我之前做安全运维时，动辄收到几万条报警信息，无论是漏报、误报还是真报，人工方式去检查总是难以应付的，大模型能否在这方面发力？联系起它是一个数量近乎无限的实习生的定位，让几万个实习生去验证几万条报警，似乎是瞬间完成的事。这个方向虽然看着很兴奋，但因为现在的数据一是量大，二是格式各种各样，不只是文本的，怎么整理成大模型可理解的数据形式，本身就是个难题，三是实时性无法保障，所以也抛出来同大家一起研究。第五个是安全信息总结。前面我也提过，信息总结也是大模型最擅长的领域。比如把安全相关的书本、资料、链接丢给大模型，就可以立马总结出核心要点，并且可以做到多轮问答、多轮追问。对安全专业的学生，写论文会有较大帮助；对安全行业从业者也可以从中节省大量的时间，又获得精炼的安全知识和资讯。最后，是安全自动驾驶。即利用大模型Agent的感知、决策、执行能力，包括调度工具的功能，进行自动的安全态势判断，并执行相应的安全策略。前面我说过，这是业界都在探索的方向，但实现起来有非常多的工程难题，有赖于技术的进一步发展。以上只是一些随意的畅想，其实深入到每个产品，每个场景，肯定都会有大模型的用武之处，欢迎大家基于大模型的特点，继续畅想和讨论。另外，要真实践起来，肯定会有许多工程难题，但积极尝试是必不可少的，所谓沿途下蛋，你往那个方向冲，只是冲到一半，可能你已经是最厉害的人了，总比不冲好。三、大模型是天下人的大模型我前面讲了这么多，我总的是想告诉大家一句话，我认为大模型技术具有很好的前景和潜力，与各行各业，包括安全行业结合，肯定会有很多化学反应，我一点都不怀疑。当然，前途是光明的，道路是曲折的，还有很多工作要做。经过一年的交流，我也发现大家会有一种焦虑，就是认为大模型技术变化太快，无所适从，总怕自己投资下去，一个新的大模型出来，之前的投资是否失败或者废弃了？这经常让我想起亚马逊创始人贝佐斯的一句话“我常被问一个问题：‘在接下来的10年里，会有什么样的变化？’但我很少被问到‘在接下来的10年里，什么是不变的？’我认为第二个问题比第一个问题更加重要，因为你需要将你的战略建立在不变的事物上。”同样的道理，无论AI技术怎么快速发展，我们都要在变化中寻找那些不变或者基本不变的东西，我认为就是一套以客户需求为导向的业务框架。在这套框架里，大模型只是一个智力引擎，其他投资是四肢。客户需求是相对稳定的，框架也是相对稳定的。一定要在客户需求框架下思考AI大模型与业务的深度融合。有了框架，则技术的变换，只是换了引擎，其他零部件的投资并没有被放弃。最重要的是，能够在一个相对稳定的框架下，不断积累业务经验。最后，说了那么多的壮怀激烈、雄心壮志，咱们回归现实，自己往自己头上浇点冷水，清醒清醒。大家应该都知道著名的跨越鸿沟理论，即一个新技术刚开始的时候，依次要经历几个采纳周期。刚开始，通常是一批创新者或者发烧友先尝试这个技术，即使产品体验不好，他们也愿意探索，去发现技术背后激动人心的价值。他们往往会把这个技术推销给另外一波人，叫做早期使用者，他们通常是社会精英，胸怀大志、手握大权，只要他们也认识到这个技术的潜力，那么，就会有大量的资源投资往这个技术，从而加速这个技术的发展，典型的如微软的比尔盖茨对OpenAI的投资，刚开始他不看好，但后面他看好之后，OpenAI从微软拿到了天量的资源去快速发展他们的技术。技术有了发展，产品有了提升，但如果不普及到广大群众里，其实是没法闭环投资的，因为量不够。量不够，那就永远只是少数人的昂贵玩具。怎么让玩具变成一个人人可用的消费品、从而产生一个巨大的行业？这就是早期使用者和早期大众之间巨大的鸿沟。目前大模型就处于这个鸿沟的左边，远远没到普及的程度，技术成熟度、产品体验和成本都是一道道鸿沟。当然，大家感觉大模型这2年如火如荼，那是因为你是从业者，你可以询问你的妻子或者亲戚，他们大概率不了解大模型的含义，也没用过大模型的应用，或者用过了也不知道什么大模型小模型。所以大家不要过于亢奋，要把大模型技术普及开，还需要开展很多艰苦的工作。第一，中美大模型还存在较大差距，这是毋庸置疑的。我经常看到一些公司经常跳出来说中美大模型差距3个月、6个月、不到1年等等，我就觉得这是在误人子弟。我们不宜妄自菲薄，但也不宜盲目乐观。我觉得大模型的从业者一定???头脑冷静下来，务实、敬畏的向一切强于我们的人学习，学习的前提是清晰的知道自己的差距，最起码，承认确实有差距。中美顶尖大模型的差距绝对不止6个月，不能是人家发布了一个模型，你基于研究别人的基础上用6个月追上了，所以差距是6个月；那是别人厚积薄发，正常迭代版本出来的水平，那要是GPT5憋个大招，迟迟不发布，你用什么去追赶？创新能力的差距，用时间来衡量是不对的，正确的衡量方式是我们的创新氛围、创新能力组成的一个整体的创新引领能力的差距，这种差距，都是5年10年为纬度的差距，因为要做很多基础工作，比如AI课程进入课堂，培养大量的科学家，给人才以宽松的研究环境，这都是说了几十年而未解决的老大难问题。我们可以以实用主义的态度，去用别人已经走出来的经验，站在巨人的肩膀上看得更远，但如果巨人不让你站在他肩膀上了呢？所以要清醒的认识差距，好好的在真正需要努力的地方去自立自强。但另外一方面，也要思考，目前的业务，目前的大模型能力，是否够用？目前的环境下，没法说你的基础大模型是最强的，也没有必要，这个东西本来就在快速演进，你能做的是思考什么业务什么场景需要大模型来解决什么问题，现在的技术够不够你去解决这个问题。第二，数据多不等于数据好。这是我与行业交流多年后得出的感受。我们经常说自己是数据大国，这没错。但我发现很多企业并未进行数据整理，数据库里有数据，硬盘里也存了几百GB、几TB的数据，可仔细分析起来，要么很多是无效数据，例如过程记录或者警告记录，要么没有整理成AI可训练的数据格式，或者缺失的数据维度，没法在市场上获得，这基本是一个数据生态的构建问题。所以，目前中文高质量数据集可能只占了全球的1%-3%。没有数据，哪来的AI ？这是一个现实，我们必须努力构建数据生态。第三，大模型人才不是天上掉下来的，是在实践中培养出来的，不要一开始就想得到一个又有大模型技术产品理解，又有行业知识的人才，这样的人，你基本找不到，因为这样的人要么自己创业了，要么已经被人重金挖走了，所以还是要靠自己培养。我前面也说了，大模型其实从原理到应用，门槛已经很低了，培养人的成本并不高。当然，最基础的算法方面的知识，还是有一定门槛的，需要不断加强该领域基础知识的学习。第四，开源闭源、大模型小模型不重要，最重要的是场景真的需要。研究业务场景与大模型的结合，应该是每一个企业的核心工作。第五，这一轮技术浪潮带来的变革才刚刚开始，我认为大家都在探索和起步，谁也不比谁懂得更多，别着急，耐心点。个人要沉下心去学习和实践，企业也可以作为一个孵化业务推进，给大家一些空间。最后，我衷心认为大模型对每个企业、每个人都是一个大好的历史机会，真是一个百年未有之大变局，大家可以结合现有工作，各自探索、研究、投资，广阔天地，大有可为。今天的分享，时间有点超了，谢谢大家。
一种全新的代码审计技术：SyntaxFlow
over 1 year ago
v1ll4n 2024-06-14 17:38 北京 我们希望把编译技术带入安全代码分析去分析代码行为，为代码行为分析带来新的机会和可能性 代码审计技术在过去的一段时间的发展中，似乎受到了一个魔咒，安全从业人员的很难摆脱 *QL的影响，毕竟编译成数据库，然后通过 QL 来查询。或者通过把 AST 解析进 neo4j，通过...
刘洪善：大模型，重构安全产品体验
over 1 year ago
原创 刘洪善 2024-05-31 12:20 广东 给女儿的六一礼物：虎妞爸的演讲稿 注：本文基于刘洪善5月25日在“2024OWASP中国数据&AI安全技术沙龙”作的主题演讲删改，网安加社区授权本公众号发布，以作为刘洪善最爱的女儿的第三个六一儿童节的小礼物。刘志诚老师（左）与宋荆汉院长（右）为刘洪善（中）授予特聘专家荣誉演讲全文不好意思，前几天拔了颗牙，所以戴着口罩，很不礼貌，对不起兄弟们。去年我分享了大模型安全方面的进展，今天则想畅想一下如何利用大模型重构网络安全产品的体验。一、对大模型的几个简单思考自从22年底ChatGPT火爆之后，AI首次大规模直面C端用户，以往都是各类算法不同的小模型零散地应用于各业务中，用户没有明显感知到AI的存在。媒体和产业界通常使用“大模型”来指代这一波AI技术浪潮。但业界对大模型其实并没有明确的定义，当然，“参数大”和“生成式”是这波大模型技术浪潮的2个基本特征，所以准确的说法，应该叫“生成式AI大模型”。这是我从一本著名的讲解大模型的书《这就是ChatGPT》中截取的图片，它通俗的说明了什么是大模型：伽利略做自由落体实验，积累了许多数据，堆满了实验室，但这么多数据最后只总结成了一个简单的函数，以代表自由落体运动的物理规律。大模型本质上是一个超级大的函数，通过输入大量数据进行训练后，不断调整这个函数的权重，最后抽象出这些数据背后的共同规律或者函数表示，以预测输入之后的下一个词（Token）是什么。这种预测能力，要求它去“理解”文本代表的人类世界的含义。顾名思义，大模型之所以这么神奇，核心原因就是“大”。AI行业有一篇著名的论文，名为《The bitter lesson》，在这篇论文中提出一个简单的道理，即我们利用各种新奇算法来解决的问题，最后发现都不如大力出奇迹，直接用简单的算法加大量的算力，反而是终极解决方案，这就是大模型得以出现的思想基础。可以说OpenAI一帮杰出的科学家，用工程实践，“重新”发现了这一原则，也即著名的“Scaling Law”。大模型的训练，分为四个阶段。第一阶段，是用大量数据进行预训练，得到基础大模型，这时大模型有了大量的人类知识，但生成方式不可控，只知道预测下一个词（Token），一直给你补下一个词，生成的内容可能对人类而言是无意义的。第二阶段，使用少量人类标注好的高质量问答对数据对大模型进行微调，实际就是在已经得到的基础大模型的基础上改变部分权重，使得确定的知识得到确定的回答，得到有监督微调模型。第三阶段，对得到的模型的同一提示的不同回答进行人类评分，基于评分数据，训练出一个奖励模型来使得模型的输出与人类价值观对齐。第四阶段，则是综合以上阶段进行强化学习，调优成最终模型。其实阶段三和四合在一起，就叫人类强化学习。ChatGPT为什么能在这个时间点出现，让大模型爆火？除了OpenAI的集体努力，还得益于摩尔定律使得算力提升了数十亿倍，另外，互联网的普及，为大模型的诞生积累了大量数据，缺一不可。那大模型有什么技术特点，让业内人士这么兴奋呢？首先，海量的人类数据，让它拥有了海量的人类知识。其次，知识密度导致它有或者看上去有一定的推理能力，也就是智能涌现，具有了“大脑”的特征。再次，“大脑”的存在，使得通过大模型统一的联接各类服务和数据，打破服务和数据的孤岛状态成为可能。再次，是新交互，也就是多模态交互，它现在能够理解语言、图片、视频等，非常像人类的学习和沟通方式。最后，大模型所广为人知的缺点，但在我看来其实也是优点，就是有幻觉，如果你需要正经、严肃的答案，那么有时候可能会胡说八道，但如果你需要创造力和想象力，大模型的幻觉就是创造力和想象力。基于这5个特点，结合现有产品和业务场景，就能摸索出提升用户体验和业务指标的办法。总的来说，它是一个什么都懂，口才非常好，学习能力超强，完成工作非常迅速，充满想象力，不休不眠的初级员工。OpenAI的副总裁在接受采访时也表示，有了GPT4，你可以认为有了无限数量的实习生，但你要怎么用好这些实习生来创造价值？这是需要思考的组织学问题。在AI领域做产品，受2个因素制约，一个是用户需求，另外一个是技术边界。传统的软件技术发展到现在，你只要有用户需求，很少有实现不了的软件技术。但在AI领域，特别是大模型这个领域，它的输出其实是不稳定的，因为它的底层数学原理是基于概率统计的，那它的输出就有不稳定性，这一点也跟人类很像，人类的表现也不会是始终如一的，这时你就要考虑技术边界的问题，在当前大模型的技术边界内做产品，这也是一个必须遵守的“物理定律”。那目前业界主要用大模型来做什么产品？主流都是往智能体方向发展，有三个方向：情感陪伴、个人助理和行业智能。情感陪伴，追求的是让智能体具有类人的特点，以拟人的方式与用户沟通，回应用户的情感陪伴诉求，典型的产品是Character.AI，比较知名的形象，是电影《Her》里面的萨曼莎。要攻破的难点，是怎么在多模态大模型的基础上，微调出一个有长期记忆、有个性的助理。个人助理，是行业中花费最多人力和资源去实现的产品，主要是帮用户解决重复复杂的非过程类任务，或者说是用户只想得到一个结果，但不想体验过程的任务，其实也可以叫“软件自动驾驶”，比如订明天去北京的酒店机票，给一个时间和地点，制定合理的出行攻略等等，也就是一个管家的角色，类似于《钢铁侠》里的贾维斯。这类助理，实际就是在现有的产品，比如现有的手机操作系统之上，构建一个以大模型为大脑，以调度软件操作为四肢的“智能代理”或者“智能体”，从而组成一个“手机自动驾驶系统”。思路是不难，难的是实现，最大的问题是生态，因为你要“驾驶”的是各种软件，哪个软件愿意不触达用户，而愿意甘当绿叶去让你“驾驶”？他们的流量不要了？现有的商业模式不要了？只为做助理的公司，比如手机厂商打工？不可能，完全不可能。所以未来，更大的可能是各类软件也会拥抱大模型，形成自己的大模型助理。以后是助理和助理之间沟通，而不是用户和助理之间沟通。比如我要订一个机票，那我的手机助理自己去跟美团的大模型助理沟通，给我一个结果就行，这起码部分保障了软件生态的利益。除此之外，成本、时延、硬件适配等等都是一个个难题。但我是坚定这个方向是对的。目前处于中间状态的典型就是微软的Copilot系列产品，这个系列虽然还是“辅助驾驶”，但辅助驾驶，是通往自动驾驶的必经之路。有人会问，为什么微软的Copilot系列不存在生态问题？因为这些产品本来就是他家的啊！所以，我还是那个观点，目前，先把自家的产品优化了，再去谈生态，不要一下子操那么大的心。行业智能，针对特定的行业需求，如???育、医疗等，利用特定的数据集去微调，以获得特定行业的知识和应用。演讲的第二部分，会以安全行业为例来稍微展开。再说说大模型的成本问题。虽然在我作这个演讲的时候，各大云厂商正好在做大模型价格战，但真正高质量的大模型的成本问题仍然是大模型技术普及最大的障碍，因为在价格战中的大模型要么质量一般，要么其实你只要真的大量调用，肯定来个“升级”交费，所以成本没有什么本质改变。对手机厂商或者互联网厂商而言，一个1000万日活的内置了大模型的应用，调用一次需要大概1分钱，基本上用户如果每天使用10次的话，一天就要花100万人民币。1000万日活的应用在行业里并不算很高，如果是上亿的用户，都把大模型类的应用用起来，那成本是哪个企业也接受不了的。所以目前大模型相关的应用用户并不多，多了之后，如何变现，也是一个悬在行业头上的绕不过去的大问题。成本的原因也导致端云结合、大小结合是必然。例如将70亿以下端侧模型，与1000亿左右的云侧模型相结合，复杂任务用大的，简单任务用小的。基础大模型最终会与云计算一样，全球一定会只剩下几家，多了没有必要，因为没有带来什么不同的差异和价值，其他个人和公司就基于基础模型做应用。目前国内的模型是过剩状态，过2年，80%的基础模型公司都不会继续存在，因为在商业上，说不通，投资回不来。大模型无论怎么组合使用，首要原则就是用户导向、产品驱动。虽然我提到了目前行业在发力智能体，做情感陪伴、个人助理和行业智能，但都刚刚开始，我不像业界某些专家大佬那么乐观，他们说今年一定会爆发大模型的杀手级应用，我看不到这个趋势。我认为这几年，用大模型来对现有产品和业务进行提升，是毫无疑义的主流。你非要说杀手级应用，我认为现在最大的杀手级应用就是ChatGPT，但它的流量和日活是有下降趋势的，因为也没人会天天跟一个机器人闲聊，也没那么多问题天天问。所以，好好的去考察你现有的产品和业务的刚需高频的痛点，看看能不能用大模型去解决或者部分改善，才是一条比较务实的道路，例如大模型结合手机、汽车、VR等硬件，去提升用户体验，产生粘性，最终实现投资变现。能够短期投资变现，才有长期未来。总的来说，我今天恐怕就是作为一个布道者，来鼓吹大模型的，因为我认为大模型是人人可用的技术，大模型的暴力美学，将AI技术、软件技术的门槛打低到每个企业、每个人都可以构建自己的大模型来重构业务和产品体验的程度，算法和代码不再是普通人的门槛。这样平权的智力引擎，历史上什么出现过？这是多么激动人心的大事件啊！一定要拥抱拥抱再拥抱！二、大模型可能如何重构安全产品的体验因为我没有实际做过这方面的工作，所以我一再强调，只是畅想，抛砖引玉。通用大模型虽然很好，但它很难既通用、又专业、还便宜，也是一个“不可能三角”，因为通用大模型的数据，大部分是从网上爬来的，而行业数据绝大部分不会放在网上，大模型缺乏行业知识这是再正常不过了。所以通用大模型在某些特定领域的专业性不足，这就导致了前面我说的第三个方向——行业智能的发展是必然趋势。通过哪些手段，去获得特定行业特定领域的专业的大模型呢？主要是提示工程、检索增强生成、微调和预训练。首先是提示工程，这个成本最低，基本方法是不断尝试不同输入，观察通用大模型能否给出更好的答案。这基于一个假设，那就是通用大模型已经具备了这个行业的某些知识。对浅度的知识，一般也可以满足的。第二个是检索增强生成RAG，可以简单理解成把行业知识向量化之后，变成一个外挂知识库，当你询问大模型时，先去知识库检索跟问题相关的的知识，放到输入提示里，让大模型来理解和生成更专业的答案。因为这个方法不需要用数据来改变大模型的权重，保密性较好，是目前行业首选的方案。第三个是微调，前面已经说过它的一般方法。它要求高质量的数据整理，并且数据会被内化到大模型的权重里，如果不是私有部署的大模型，有数据泄露的风险。最后是预训练。由于代价很高，一般企业不会使用。上面的几个手段，得到一个行业大模型之后，与安全产品结合，可能会有怎样的体验提升？我这里抛砖引玉，提几个场景讨论讨论。首先，是安全知识沉淀。将企业积累的知识库和专家经验变成数据集之后，在基础大模型上进行微调；或者切片量化后形成RAG。这样，公司可以有一个体验更好的知识沉淀和变现方式，而不是干巴巴的文档传承；专家也能更好的传承自己的经验。另外，对初级安全人员和非安全人士，在遇到不懂的问题时，可以有一个快速解惑的渠道。当然，也可以面向企业内一般员工做更有趣的信息安全知识科普等等。第二个是安全智能体。即通过好的运营，鼓励专家基于安全智能体平台创建和导入个人经验，给活跃和受欢迎的专家以激励，实现高质量知识和数据的“众筹”，也能一定程度解决企业有数据但没有整理形成的数据来源问题。比如，我写的几百篇安全产品和技术文章，能否导到智能体平台去微调或者形成RAG，得到一个“刘洪善智能体”？别人跟这个智能体对话，基本和我对话差不多，因为我知识储备也就是这几百篇文章。第三个是代码安全扫描与分析。传统扫描器一个很大的问题，是无法识别长一些的代码上下文的安全问题，为了效率，很多企业是将代码切片后扫描的。但上下文理解，正好是大模型擅长的地方之一，通过大模型的广博的代码知识和上下文理解能力，有可能发现传统扫描器无法识别的代码安全问题。这是去年ChatGPT刚火的时候，我写的一个安全专利的基本思路，也申请通过了，其实很简单，但实现起来不容易。第???个是安全数据分析。比如我之前做安全运维时，动辄收到几万条报警信息，无论是漏报、误报还是真报，人工方式去检查总是难以应付的，大模型能否在这方面发力？联系起它是一个数量近乎无限的实习生的定位，让几万个实习生去验证几万条报警，似乎是瞬间完成的事。这个方向虽然看着很兴奋，但因为现在的数据一是量大，二是格式各种各样，不只是文本的，怎么整理成大模型可理解的数据形式，本身就是个难题，三是实时性无法保障，所以也抛出来同大家一起研究。第五个是安全信息总结。前面我也提过，信息总结也是大模型最擅长的领域。比如把安全相关的书本、资料、链接丢给大模型，就可以立马总结出核心要点，并且可以做到多轮问答、多轮追问。对安全专业的学生，写论文会有较大帮助；对安全行业从业者也可以从中节省大量的时间，又获得精炼的安全知识和资讯。最后，是安全自动驾驶。即利用大模型Agent的感知、决策、执行能力，包括调度工具的功能，进行自动的安全态势判断，并执行相应的安全策略。前面我说过，这是业界都在探索的方向，但实现起来有非常多的工程难题，有赖于技术的进一步发展。以上只是一些随意的畅想，其实深入到每个产品，每个场景，肯定都会有大模型的用武之处，欢迎大家基于大模型的特点，继续畅想和讨论。另外，要真实践起来，肯定会有许多工程难题，但积极尝试是必不可少的，所谓沿途下蛋，你往那个方向冲，只是冲到一半，可能你已经是最厉害的人了，总比不冲好。三、大模型是天下人的大模型我前面讲了这么多，我总的是想告诉大家一句话，我认为大模型技术具有很好的前景和潜力，与各行各业，包括安全行业结合，肯定会有很多化学反应，我一点都不怀疑。当然，前途是光明的，道路是曲折的，还有很多工作要做。经过一年的交流，我也发现大家会有一种焦虑，就是认为大模型技术变化太快，无所适从，总怕自己投资下去，一个新的大模型出来，之前的投资是否失败或者废弃了？这经常让我想起亚马逊创始人贝佐斯的一句话“我常被问一个问题：‘在接下来的10年里，会有什么样的变化？’但我很少被问到‘在接下来的10年里，什么是不变的？’我认为第二个问题比第一个问题更加重要，因为你需要将你的战略建立在不变的事物上。”同样的道理，无论AI技术怎么快速发展，我们都要在变化中寻找那些不变或者基本不变的东西，我认为就是一套以客户需求为导向的业务框架。在这套框架里，大模型只是一个智力引擎，其他投资是四肢。客户需求是相对稳定的，框架也是相对稳定的。一定要在客户需求框架下思考AI大模型与业务的深度融合。有了框架，则技术的变换，只是换了引擎，其他零部件的投资并没有被放弃。最重要的是，能够在一个相对稳定的框架下，不断积累业务经验。最后，说了那么多的壮怀激烈、雄心壮志，咱们回归现实，自己往自己头上浇点冷水，清醒清醒。大家应该都知道著名的跨越鸿沟理论，即一个新技术刚开始的时候，依次要经历几个采纳周期。刚开始，通常是一批创新者或者发烧友先尝试这个技术，即使产品体验不好，他们也愿意探索，去发现技术背后激动人心的价值。他们往往会把这个技术推销给另外一波人，叫做早期使用者，他们通常是社会精英，胸怀大志、手握大权，只要他们也认识到这个技术的潜力，那么，就会有大量的资源投资这个技术，从而加速这个技术的发展，典型的如微软的比尔盖茨对OpenAI的投资，刚开始他不看好，但后面他看好之后，OpenAI从微软拿到了天量的资源去快速发展他们的技术。技术有了发展，产品有了提升，但如果不普及到广大群众里，其实是没法闭环投资的，因为量不够。量不够，那就永远只是少数人的昂贵玩具。怎么让玩具变成一个人人可用的消费品、从而产生一个巨大的行业？这就是早期使用者和早期大众之间巨大的鸿沟。目前大模型就处于这个鸿沟的左边，远远没到普及的程度，技术成熟度、产品体验和成本都是一道道小鸿沟。当然，大家感觉大模型这2年如火如荼，那是因为你是从业者，你可以询问你的妻子或者亲戚，他们大概率不了解大模型的含义，也没用过大模型的应用，或者用过了也不知道什么大模型小模型。所以大家不要过于亢奋，要把大模型技术普及开，还需要开展很多艰苦的工作。第一，中美大模型还存在较大差距，这是毋庸置疑的。我经常看到一些公司跳出来说中美大模型差距3个月、6个月、不到1年等等，我就觉得这是在误人子弟。我们不宜妄自菲薄，但也不宜盲目乐观。我觉得大模型的从业者一定要头脑冷静下来，务实、敬畏的向一切强于我们的人学习，学习的前提是清晰的知道自己的差距，最起码，承认确实有差距。中美顶尖大模型的差距绝对不止6个月，不能是人家发布了一个模型，你基于研究别人的基础上用6个月追上了，所以差距是6个月；那是别人厚积薄发，正常迭代版本出来的水平，那要是GPT5憋个大招，迟迟不发布，你用什么去追赶？创新能力的差距，用时间来衡量是不对的，正确的衡量方式是我们的创新氛围、创新能力组成的一个整体的创新引领能力的差距，这种差距，都是5年10年为纬度的差距，因为要做很多基础工作，比如AI课程进入课堂，培养大量的科学家，给人才以宽松的研究环境，这都是说了几十年而未解决的老大难问题。我们可以以实用主义的态度，去用别人已经走出来的经验，站在巨人的肩膀上看得更远，但如果巨人不让你站在他肩膀上了呢？所以要清醒的认识差距，好好的在真正需要努力的地方去自立自强。另外一方面，也要思考，目前的业务，目前的大模型能力，是否够用？目前的环境下，没法说你的基础大模型是最强的，也没有必要，这个东西本来就在快速演进，你能做的是思考什么业务什么场景需要大模型来解决什么问题，现在的技术够不够你去解决这个问题。第二，数据多不等于数据好。这是我与行业交流多年后得出的感受。我们经常说自己是数据大国，这没错。但我发现很多企业并未进行数据整理，数据库里有数据，硬盘里也存了几百GB、几TB的数据，可仔细分析起来，要么很多是无效数据，例如过程记录或者警告记录，要么没有整理成AI可训练的数据格式，或者缺失的数据维度，没法在市场上获得，这基本是一个数据生态的构建问题。所以，目前中文高质量数据集可能只占了全球的1%-3%。没有数据，哪来的AI ？这是一个现实，我们必须努力构建数据生态。第三，大模型人才不是天上掉下来的，是在实践中培养出来的。不要一开始就想得到一个又有大模型技术产品理解，又有行业知识的人才，这样的人，你基本找不到，因为这样的人要么自己创业了，要么已经被人重金挖走了，所以还是要靠自己培养。我前面也说了，大模型其实从原理到应用，门槛已经很低了，培养人的成本并不高。当然，最基础的算法方面的知识，还是有一定门槛的，需要不断加强该领域基础知识的学习。第四，开源闭源、大模型小模型不重要，最重要的是场景真的需要。研究业务场景与大模型的结合，应该是每一个企业的核心工作。第五，这一轮技术浪潮带来的变革才刚刚开始，我认为大家都在探索和起步，谁也不比谁懂得更多，别着急，耐心点。个人要沉下心去学习和实践，企业也可以作为一个孵化业务推进，给大家一些空间。最后，我衷心认为大模型对每个企业、每个人都是一个大好的历史机会，我们真是遇上了一个百年未有之大变局，大家可以结合现有工作，各自探索、研究、投资，广阔天地，大有可为。今天的分享，时间有点超了，谢谢大家。
麻雀虽老五脏俱全，不以年龄论英雄：剖析仍然非常能打的用在数十亿智能终端设备上的可信执行???境TEE和TrustZone技术（1）
about 2 years ago
原创 Leo Lau 2023-08-14 23:18 广东 测试一下微信公众号文章的标题是不是真的能写64个字，消费降级了，所以需要写多更的字？ 源起人们的生活越发离不开智能终端特别是智能手机，其上承载了大量的照片、视频、聊天记录、生物识别信息、支付信息等隐私数据。对绝大部分用户而言，智能终端上的隐私数据的价值远远大于设备本身的价值。如何保护用户的隐私数据，是各大智能终端厂商必须担负起来的使命和责任，也是厂商间进行差异化市场竞争的必由之路，避无可避。如何保护隐私数据，特别是敏感的隐私数据？方法有千千万万，但最符合人类直觉的是——隔离，即在终端设备这座“房子”里，隔离出一个安全可信的“保险箱”，专门用于保存敏感用户数据，即使终端设备这座“房子”的门窗被打破了，坏人进来了（被root了），但只要拿保险箱没办法也就没事。在安全技术上，怎么实现隔离？工程上，大致有三种主流方案。第一种，是诸如同态加密、多方计算等基于密码算法和协议的方案，由于该类方法基于严密的数学算法，因此可以证明其有较高的安全性，可以通过“加密”这一安全领域的万能钥匙，把数据使用起来的同时，又能“隔离”数据，做到数据的可用不可见。但缺点也是由于基于大量的数学计算，性能动辄有上百倍的损耗，难以在智能终端场景大规模落地。第二种，是基于安全芯片（安全模块）的“硬”隔离。安全芯片¹ ，是指实现了一种或多种密码算法或协议，使用密码技术来保护密钥和敏感信息的集成电路芯片（也有工程上把安全芯片定义为可信任平台模块TPM的）。安全芯片往往具备独立的CPU、内存以及存储单元，可实现与不可信操作系统、应用软件执行环境的物理隔离，因此有较高的安全性。传统的安全芯片主要应用于智能IC卡、SIM卡、U盾等产品中，提供支付认证等功能。目前，安全芯片则主要以安全单元（SE）的形式广泛应用于手机、车机、电视机等智能终端设备中，实现安全启动、安全存储、保护认证信息等核心的安全功能，保障智能终端的安全性。智能终端安全芯片主要分三类：第一类是独立芯片，其本身有完整的安全操作系统和为了处理各种安全事务而配置的软硬件资源，如Google Titan M与苹果T2等；第二类，是如高通的SPU，虽然也在同一颗SoC上实现，但SPU有独立的CPU与RAM等硬件资源，还有独立的安全操作系统，可以说是“半独立”安全芯片；第三类，则是如苹果iPhone在SoC中整合的Secure Enclave，与一般操作系统和应用共用硬件资源，软件独立实现。如果对安全芯片本身的保护是足够的，基于安全芯片的隔离方案当然是很安全的，但由于一般安全芯片占用SoC空间、成本高、TTM周期长、对平台的依赖、性能有限、存储空间小、一旦出问题就难以修复等等，只能处理最敏感的密钥和短数据。安全芯片并不是在设备里用得越多越好，因为安全芯片能发挥作用的前提是假设安全芯片本身是足够安全的、可信赖的，但安全芯片设计得不安全、不可信的案例比比皆是（感兴趣可以网上搜搜）。所以安全芯片的设计和使用要遵循一个原则，那就是“极简”，在核心场景的核心环节用上就行，不要言必称芯片。上面这么一说下来，TEE的诞生和流行就有其必然：为什么一定要用TEE承载关键的用户安全需求和场景，它的安全性也不是最高的？因为TEE安全/性能/兼容性这个“性价比”最高，对用户最“友好”！所以，第三种，也就是我们要重点介绍的可信执行环境（Trusted...
手机???备安全的五个要素
over 2 years ago
原创 Leo Lau 2023-08-01 00:44 广东 前言从负责HM的安全技术和产品规划算起，踏入智能终端安全这个细分领域已经快3年了。这3年，说实话很惭愧，忙于 前言从负责HM的安全技术和产品规划算起，踏入智能终端安全这个细分领域已经2年半了。这2年多，说实话很惭愧，忙于各种事务，很少抽出时间好好把终端安全相关的技术系统的学习起来，都是边做边学，边学边做，往往管中窥豹。于是，最近下定决心，把Java和Python又装回电脑，翻起安全大部头和各类技术论文，要把自己的技术本事再一一练回来。我从不相信有什么东西是人学不会的，只要决心去学决心去做，知行合一。当然，分工不同，导致投入的精力和理解的深度不可能与天天做架构、写代码的人比，但学习不是为了攀比，而是为了完善自己的知识体系，挤出一点时间学习技术又是什么难事？今天的文章，是为了给安全产品经理、安全规划师、安全架构师,也是为我自己提供一个简易而不是学究味十足的手机设备安全全局视图，明白打造一部安全可信的手机设备，需要设计哪些基本的安全能力。所以根据公开可得的各手机厂商的安全技术白皮书（VOHA）和业界公认的标准（CC MDPP、TCSEC等），写就此科普文，还是非常粗糙，就当一个目录，后面会继续更新，并对其中的重要专题，比如TEE，写几篇文章和代码进行更详细的说明，以增学习之效。正文密码学是现代一切智能终端安全性的基础，由密码学工程实现的终端的启动根、存储根、计算根和软件根，则是一切智能终端安全的四个支柱，一切安全隐私特性，都在这四个支柱的基础上构建。那么，基于这四个支柱，如何构建一部高安全性的可信的手机设备，以下五个要素是核心。一、系统完整性（不被篡改）1、安全启动启动（开机、上电），是系统运行的第一步。安全启动，目的是保障启动时载入的引导程序、内核等镜像文件是合法的、未被篡改的。其一般流程是，设备启动后，应用程序处理器（AP）或者专用安全处理器（苹果SE或者高通TME），会执行指向只读内存（OnChipROM（安卓）或BootROM（苹果））中的一段代码，该代码出厂时固化，出厂后无法修改，叫做“片内引导程序（ROM SoC Bootloader）”或者更知名的“启动信任根”。片内引导程序完成初始化后，即从Flash中加载一级引导程序，并利用根证书公钥对一级引导程序进行签名验证（采用的签名算法为常见的RSA、SHA等），验证无误后才开始运行一级引导程序。一级引导程序加载、验证和执行下一个镜像文件，如二级加载程序、内核（典型的镜像文件还包括xloader、fastboot、基带等等，随不同终端形态划定范围后进行加密保护，以防止逆向攻击，并在启动阶段解密后加载入对应区域）等等，任何一个环节验证出差，都会停止启动。以此类推，环环相扣，建立信任链，防止非法镜像文件被加载和运行。上述流程中，如何保障根证书公钥的安全性？常见的做法，是使用存储在OTP（One Time...