Everything you care about in one place
Follow feeds: blogs, news, RSS and more. An effortless way to read and digest content of your choice.
Get Feederwechat2rss.xlab.app
绿盟科技研究通讯
Get the latest updates from 绿盟科技研究通讯 directly as they happen.
Follow now 20 followers
Latest posts
Last updated 8 days ago
云上LLM数据泄露风险研究系列（三）：开源大模型应用的攻击面分析
8 days ago
原创 星云实验室 2025-04-28 16:48 北京 识别攻击面，护航大模型数据安全 一. 概述本系列前两篇文章深入探讨了向量数据库和LLMOps在全球的暴露面及攻击面，本文作为第三篇，将重点关注当前主流大模型应用的安全风险。如今，大模型上云趋势明显，大多数大模型应用都可通过Docker快速一键部署， 这种“一键上云”的便利虽然加速了技术落地，但也同时埋下了不少安全隐患，如未授权API接口调用、形同虚设的访问控制与权限失效、N Day漏洞的再次利用问题等，均可导致用户隐私数据、机密信息大规模泄露。具体而言，攻击者可通过盗取大模型应用系统凭证、模型密钥、拦截聊天记录、污染训练数据等多重手段发起攻击。本文我们依然从攻击面角度出发，对大模型应用中可能存在攻击的环节以及造成的实际危害进行分析，并给出缓解措施，希望可以通过具体介绍让大模型使用人员重视大模型生态中的数据安全。引发进一步思考。二．开源大模型应用介绍我们认为大模型应用按类型可粗略分为问答系统（如ChatGPT）、编程开发助手(如Copilot)、搜索引擎与信息检索(如New Bing)、RAG应用（如Langchain、FastGPT）、LLM应用开发框架（Langflow、Dify）、垂直领域应用（如IBM Watson...
RSAC 2025创新沙盒 | Aurascape：重构AI交互可视性与原生安全的智能防线
12 days ago
原创 创新研究院 2025-04-25 10:55 北京 Aurascape专注于生成式AI和智???体应用的原生安全防护，提供全局可视化、敏感数据识别与无摩擦策略执行能力，帮助企业实时发现“影子AI”、防控数据泄露与AI生成风险，构建适应AI交互范式的新型安全治理体系。 一. 公司简介Aurascape是一家成立于2023年的网络安全初创企业，总部位于美国加利福尼亚州圣克拉拉。公司由来自Palo Alto Networks、Google、Amazon等顶尖科技企业的资深安全专家与工程师联合创立，团队在网络安全、人工智能和网络基础设施领域具备深厚积累，曾构建多个年营收数十亿美元的安全产品。Aurascape的使命是“在AI时代帮助企业无畏创新”，致力于通过全球最先进的AI安全平台，重塑企业自我防护的方式，让AI驱动的创新在可控、安全的环境中快速落地。图1：Aurascape创始人团队2024年8月，Aurascape完成1280万美元种子轮融资，由Mayfield Fund和Celesta Capital领投，StepStone...
RSAC 2025创新沙盒 | Knostic：重塑企业AI安全的访问控制范式
12 days ago
原创 创新研究院 2025-04-25 10:55 北京 Knostic是一家专注AI安全的初创公司，创新提出“需知访问控制”框架，解决LLM部署中的数据泄露风险。其通过知识图谱与自适应策略，实现对敏感信息的精细化管控，兼顾安全与业务效率，已在金融、医疗等行业落地，正推动AI安全治理范式转变。 一. 简介在生成型人工智能（GenAI）和大型语言模型（LLM）迅速渗透企业运营的今天，数据泄露和隐私风险已成为企业面临的重大挑战。Knostic，这家成立于2023年的初创公司，凭借其创新的“需要知道”访问控制技术，正在为企业提供一层智能安全防护，确保AI工具的安全部署与合规性。其基于 “按需访问” 原则的 LLM 权限管理系统，支持细粒度数据脱敏。以及“知识图谱...
RSAC 2025创新沙盒 | TwineSecurity ：数字员工驱动企业安全建设
13 days ago
原创 星云实验室 2025-04-24 10:02 北京 RSAC 2025创新沙盒 | TwineSecurity ：数字员工驱动企业安全建设 一、公司简介Twine Security[1]是一家专注于网络安全领域的人工智能初创公司，由前网络独角???...
云上LLM数据泄露风险研究系列（二）：基于LLMOps平台的攻击面分析
13 days ago
原创 星云实验室 2025-04-24 10:02 北京 LLMOps作为LLM应用的核心运维体系，其平台存在的数据泄露风险可能对模型部署的安全与合规性带来严重影响。 一. 引言在上一篇系列文章《云上LLM数据泄露风险研究系列（一）：基于向量数据库的攻击面分析》中，笔者对几款业内常用的向量数据库的暴露面、数据泄露风险进行了介绍，最后给出了一些针对向量数据库数据泄露风险的安全加固措施[1]。本文是云上LLM数据泄露风险研究系列的第二篇文章，主要给读者分析和介绍LLMOps可能带来的LLM数据泄露风险。大语言模型运维（Large Language Model Operations，LLMOps）是大语言模型（LargeLanguageModel，LLM）应用落地的核心支撑体系，为模型从实验到生产提供全生命周期管理。它通过标准化流程解决模型部署、监控、迭代等关键问题，确保LLM在真实业务场景中的稳定运行和迭代。LLMOps由DevOps演进而来，借鉴了DevOps开发运营一体化的思想，也依赖云计算技术实现。云计算为LLMOps提供了灵活、可扩展的基础设施和服务支持。LLMOps也通过自动化的运营，更好地适应云计算发展趋势下的灵活、弹性的特点。LLMOps是LLM应用运行的基石，LLMOps的安全风险直接影响LLM应用落地的合规性与可持续性。因此，本文将针对LLMOps平台存在的数据泄露风险进行分析和介绍。二. LLMOps介绍LLMOps是指一系列用于管理大语言模型的运维方法。通过LLMOps，LLM的整个生命周期，从微调到维护都得到管理并实现自动化，从而帮助开发人员和团队部署、监控和维护LLM。如果说LLM是ML模型的一个子集，那么LLMOps同样也是机器学习运维（MachineLearning，MLOps）中适用于大语言模型的一个子集。LLMOps在构建生成式...
RSAC 2025创新沙盒 | Metalware：专注嵌入式系统固件安全
13 days ago
原创 创新研究院 2025-04-23 17:00 湖南 Metalware专注于嵌入式固件自动化分析，其主要针对嵌入式固件进行分解、仿真和模糊测试，切入点非常准。 一. 公司简介Metalware是公司名称，也是一套软件名称。其主要针对嵌入式固件进行分解、仿真和模糊测试，其切入点非常准，因为现有的开源工具中没有可以同时完成嵌入式固件的成分分析和模糊测试的能力，足见其创始人在该领域的钻研之深。1.1 团队情况公司成立于2023 年 6 月，核心创始人有两个，分别是Ryan...
RSAC 2025创新沙盒 | ProjectDiscovery：开源社区与Nuclei结合的攻击面管理
15 days ago
原创 创新研究院 2025-04-22 09:01 湖南 ProjectDiscovery作为2024年RSAC创新沙盒入围企业，专注于攻击面管理，以开源社区驱动的资产与漏洞发现工具著称。其明星项目Nuclei通过高效的模板扫描技术，助力企业快速识别风险，展现了强大的技术实力与行业影响力 一. 公司简介ProjectDiscovery 成立于 2020 年，是一家专注于攻击面管理（ASM）的网络安全公司，总部位于美国旧金山。专注于提供开源和基于云的安全工具，以简化安全工程师和开发者的工作流程。1.1 团队情况ProjectDiscovery...
RSAC 2025创新沙盒 | Smallstep: 设备身份验证平台
15 days ago
原创 创新研究院 2025-04-22 09:01 湖南 一. 公司介绍今年RSAC创新沙盒10强之一的Smallstep[1] 是一家为专注于零信任、身份、证书管理 一. 公司介绍今年RSAC创新沙盒10强之一的Smallstep[1] 是一家为专???于零信任、身份、证书管理的安全公司。Smallstep成立于2016年，总部位于加州，目前处于A轮融资的状态， 在2022年获得了2600万美元的融资，投资方包括STEPSTONE、MHALF、boldstart等，图1是Smallstep的领投方。图2是...
RSAC 2025创新沙盒 | CalypsoAI：锻造AI系统安全防护体系的实战路径与信任基石
15 days ago
原创 创新研究院 2025-04-21 16:26 北京 CalypsoAI是一家专注于AI系统安全的初创公司，构建了全球领先的推理防护平台“The Inference Perimeter”，通过红队测试、实时防御与安全监控，为政企客户提供全链路AI安全解决方案，入选RSAC 2025创新沙盒。 一. 简介1.1公司概况CalypsoAI成立于2018年，总部位于美国，是一家专注于人工智能安全领域的初创公司。CalypsoAI的市场定位在于为AI安全落地开辟可靠路径，解决AI在企业应用中面临的安全威胁，确保AI模型在推理中的安全可信。从官网信息[1]可以看出，CalypsoAI遵循OWASP、NIST、MITRE等国际权威认证与标准制定方的合规要求。CalypsoAI提供AI防护能力的对象包括政务、军方、企业，客户包括美国国土安全部 、美国空军、航空部等[2]。Forrester...
RSAC 2025创新沙盒 | EQTY Lab：构建可信AI生态的治理先锋与技术架构
15 days ago
原创 ???新研究院 2025-04-21 16:26 北京 EQTY Lab聚焦可信AI领域，面向高监管行业提供融合硬件加密、分布式账本与全生命周期治理的完整解决方案，重构AI系统的安全性、透明度与合规性，助力人工智能技术在金融、医疗、政务等关键场景的可信落地与广泛应用。 一. 公司背景与行业定位EQTY Lab AG成立于2022年，总部位于美国加利福尼亚州洛杉矶，是一家专注于人工智能治理与安全的技术公司。在短短几年内，该公司已确立了自己在AI可信计算领域的领导地位，其核心使命是通过创新的技术解决方案构建可信赖的AI系统，特别关注金融、医疗和公共部门等高监管行业的需求。公司创始人兼CEO Jonathan...
RSAC 2025创新沙盒 | Command Zero：重构安全调查流程的人机协作引擎
17 days ago
原创 创新研究院 2025-04-20 10:17 湖南 通过LLM构建的、基于问题的安全事件标准化调查方案 一. 背景1.1公司简介Command Zero成立于2022年，总部位于美国德克萨斯州奥斯汀[1]。图1：Command Zero的三位联合创始人[1]公司由三位网络安全领域的资深专家Dov Yoran、Dean De...