Everything you care about in one place
Follow feeds: blogs, news, RSS and more. An effortless way to read and digest content of your choice.
Get Feedernosuchfield.com
御坂研究所
Get the latest updates from 御坂研究所 directly as they happen.
Follow now 23 followers
Latest posts
Last updated 21 days ago
使用NGINX的auth_request进行统一jwt鉴权
21 days ago
NGINX的auth_request模块提供了一种统一的认证机制，可以在NGINX层面进行JWT鉴权，而不需要在每个后端服务中重复实现认证逻辑。首先我们定义一下nginx的配置，它的配置如下flat1234567891011121314151617181920212223242526272829303132333435363738server { listen 8965; # 鉴权接口，仅供 Nginx 内部 auth_request 使用 location =...
使用APISIX解析jwt并获取payload信息
about 1 month ago
APISIX支持获取jwt的信息，并且将这个信息进行解码并转发给后端服务。1. 启动服务首先我们根据官方脚本来启动APISIX服务~ curl -sL "https://run.api7.ai/apisix/quickstart" | shDestroying existing apisix-quickstart container, if any.Installing...
《推荐系统实践》
about 2 months ago
从某种意义上说，推荐系统和搜索引擎对于用户来说是两个互补的工具。搜索引擎满足了用户有明确目的时的主动查找需求，而推荐系统能够在用户没有明确目的的时候帮助他们发现感兴趣的新内容。基于用户行为分析的推荐算法是个性化推荐系统的重要算法，学术界一般将这种类型的算法称为协同过滤（Collaborative filtering）算法。顾名思义，协同过滤就是指用户可以齐心协力，通过不断地和网站互动，使自己的推荐列表能够不断过滤掉自己不感兴趣的物品，从而越来越满足自己的需求。用户行为分类用户行为在个性化推荐系统中一般分两种——显性反馈行为（explicit feedback）和隐性反馈行为（implicit feedback）。显示反馈行为是用户主动做的，比如给视频点赞、给书籍打分等等；隐式反馈行为的代表就是用户浏览页面，这种行为显示出来的用户偏好不是那么明显，但是数据量更大。常用算法基于邻域的算法基于用户的协同过滤算法 这种算法给用户推荐和他兴趣相似的其他用户喜欢的物品。找到和目标用户兴趣相似的用户集合（P45）。找到这个集合中的用户喜欢的，且目标用户没有听说过的物品推荐给目标用户。基于物品的协同过滤算法 这种算法给用户推荐和他之前喜欢的物品相似的物品。计算物品之间的相似度（P53）。根据物品的相似度和用户的历史行为给用户生成推荐列表。基于用户的协同过滤算法计算两个用户的兴趣相似程度：给定用户u和用户v，N(u)表示用户u曾经有过正反馈的物品集合，N(v)表示用户v曾经有过正反馈的物品集合。可以使用Jaccard公式计算两个用户的兴趣相似程度wuv=|N(u)∩N(v)||N(u)∪N(v)|或者使用余弦相似公式计算相似程度wuv=|N(u)∩N(v)||N(u)||N(v)|以余弦相似公式为例，假设有用户ABCD，物品abcde，用户喜欢的物品如下用户物品 a物品 b物品 c物品 d物品 eA☑️☑️☑️B☑️☑️C☑️☑️D☑️☑️☑️那么我们可以得到用户A和BCD的相似度wAB=|{a,b,d}∩{a,c}||{a,b,d}||{a,c}|=16wAC=|{a,b,d}∩{b,e}||{a,b,d}||{b,e}|=16wAD=|{a,b,d}∩{c,d,e}||{a,b,d}||{c,d,e}|=13具体计算过程以AD的相似度计算为例分子为交集并且交集为 {d}，|{d}|...
《上瘾：让用户养成使用习惯的四大产品逻辑》
about 2 months ago
如何卖出更多的产品：产能 -> 营销/渠道 -> 产品设计上瘾如何设计产品：触发 -> 行动 -> 多变的酬赏 -> 投入习惯是大脑借以掌握复杂举动的途径之一。神经系统科学家指出，人脑中存在一个负责无意识行为的基底神经节，那些无意中产生的条件反射会以习惯的形式存储在基底神经节中，从而使人们腾出精力来关注其他的事物。当大脑试图走捷径而不再主动思考接下来该做些什么时，习惯就养成了。为解决当下面临的问题，大脑会在极短的时间内从行为存储库里提取出相宜的对策。（就是基底核，有点像缓存的作用）我们所要描述的体验更接近于”痒”，它是潜伏于我们内心的一种渴求，当这种渴求得不到满足时，不适感就会出现。那些让我们养成某种习惯的产品正好可以缓解这种不适感。比起听之任之的做法，利用技术或产品来”挠痒痒”能够更快地满足我们的渴求。一旦我们对某种技术或产品产生依赖，那它就是唯一的灵丹妙药了。福格行为模型可以用公式来呈现，即B=MAT。B代表行为，M代表动机，A代表能力，T代表触发。要想使人们完成特定的行为，动机、能力、触发这三样缺一不可。1否则，人们将无法跨过”行动线”，也就是说，不会实施某种行为。稀缺效应：物以稀为贵环境效应：环境会影响人们的价值判断锚定效应赠券效应多变的酬赏主要表现为三种形式：社交酬赏，猎物酬赏，自我酬赏沉没成本：通过用户对产品的投入程度，留住用户总体评价：很薄的一本书，有部分的观点有参考意义，但是大部分的论调都是老生常谈。大多数的观点在很多心理学的书籍里面已经讲过了，本书主要是讲怎么依赖于这些原理来进行实操，有一定的参考意义。https://book.douban.com/subject/27030507/
Kotlin与Java对照手册
4 months ago
Generated By AI📗 1. 基本类型类型Kotlin 写法Java 写法简要说明数字Int, Long, Float, Double, Short, Byteint...
ComfyUI的操作与使用
5 months ago
简单起见，又或者是没有N卡或者显卡的配置比较低，可以使用腾讯云HAI直接搭建ComfyUI服务。入门使用可以先clear掉当前的workflow，之后右键新建模块。首先需要新建一个采样器（KSampler），采样器的配置如下：参数值说明seed0随机种子，控制生成结果的随机性。相同种子会产生相同结果control_after_generaterandomize生成后种子控制方式：randomize(随机化)、increment(递增)、decrement(递减)、fixed(固定)steps20采样步数，通常15-30步较为合适。步数越多质量越好但耗时更长cfg8.000CFG引导强度，控制AI对提示词的遵循程度。范围1-20，推荐7-12sampler_nameeuler采样算法：euler、euler_a、dpm_2、dpm_2_ancestral、lms、ddim等schedulernormal调度器类型：normal、karras、exponential、sgm_uniform等denoise1.000去噪强度，1.0为完全去噪，0.0为不去噪。图生图时可调节此值采样器的model可以选择Load Checkpoint。positive是正向提示词，negative是反向提示词，都可以选择CLIPTextEncode。为了方便区分，可以给prompt修改一个有意义的标题。latent_image可以设置图片的选项，例如EmptyLatentImage。LATENT可以选择VAE Decode模块，然后可以添加一个图片预览模块。多图合并，使用同一个背景输出大小设置为图片背景总大小。图片正向prompt输出拖拽，然后添加Conditioning(Set Area)节点，在其中设置图片的大小和图片在背景画布中的位置。使用ConditioningCombine节点，合并多个Conditioning节点，之后把合并节点的输出连接到KSample。但是，如果是单纯两个prompt直接连到采样器，两张图片会很割裂。解决办法是再新建一个prompt，之后把两张图片的输出和这个prompt使用一个combine进行合并，之后合并结果再输出到采样器。模型CheckPoints（检查点模型）是Stable Diffusion的核心基础模型，包含了完整的图像生成能力。它是一个预训练的神经网络模型，决定了生成图像的整体风格、质量和特征。常用CheckPoints模型类型：模型类型特点适用场景推荐模型SD 1.5系列经典基础模型，兼容性好入门学习，插件丰富v1-5-pruned-emaonly.ckptSDXL系列更高分辨率，质量更好高质量出图sd_xl_base_1.0.safetensors写实人像专注真实人物生成人像摄影、写实风格realisticVisionV60B1_v51VAE.safetensors动漫二次元卡通动漫风格动漫插画、角色设计anything-v5-PrtRE.safetensors艺术绘画艺术风格强烈创意艺术、概念设计dreamshaper_8.safetensors建筑风景专注场景和建筑建筑设计、风景画architectureExterior_v40.safetensors模型文件格式：.ckpt：早期格式，文件较大；.safetensors：更安全的格式，加载速度快，推荐使用；.pt：PyTorch原生格式使用LoRA模型：在主模型的MODEL节点拖拽，可以新增LoRA节点，之后把LoRA的模型替代主模型连接到采样器上面。同样的，主模型的CLIP需要连接到LoRA上面，之后把正向prompt连接到LoRA就可以了（反向prompt还是连接在CheckPoint的CLIP上面）。参考一口气学ComfyUI系列教程
ComfyUI简介
5 months ago
ComfyUI 是一个基于节点工作流的现代化 Stable Diffusion 图形用户界面。与传统的WebUI不同，ComfyUI采用节点连接的方式来构建图像生成工作流，让用户能够更精确地控制整个生成过程。Stable Diffusion 是一款开源的 AI 图像生成技术，基于扩散模型构建。用户可以通过 Stable Diffusion WebUI...
利用whisper为视频自动生成字幕
7 months ago
whisper是一个由openai开发的通用语言识别模型，我们可以使用它来为视频自动创建字幕。环境安装为了加速，我们需要使用GPU来进行计算，因此需要安装基于CUDA的pytorch。首先我们需要安装Miniconda，这里安装的时候直接点击下一步即可。安装完毕之后，我们需要创建一个新的环境，这里我们创建一个名为whisper的环境：conda create -n whisper python=3.8conda activate whisper1. 安装CUDA安装好了Miniconda之后，我们需要安装CUDA，执行nvidia-smi$ nvidia-smiThu Jan 2 11:49:53...
ffmpeg笔记
about 1 year ago
合并一个文件夹内的所有视频12345find *.mp4 | sed 's:\ :\\\ :g'| sed 's/^/file /' > fl.txtffmpeg...
HTTPS是如何保证数据安全的
over 2 years ago
与Windows大量使用二进制文件和数据传输不同，HTTP（Hypertext Transfer Protocol，超文本传输协议）与Linux/Unix一样都是是基于文本的，这也导致其在传输过程中十分容易被解析和篡改，于是HTTPS（Hypertext transfer protocol secure）应运而生。HTTP协议一般跑在TCP协议之上，而HTTPS协议就是在原来的TCP和HTTP之间增加一层加密的操作，加密解密由Clinet端和Server端完成，由此保证了HTTP协议的内容不被中间人获取和篡改。可见HTTPS的核心就是这一段加密和解密，它是通过SSL（Secure Sockets Layer）安全套接层和TLS（Transport Layer Security）传输层安全协议实现的。SSL与TLS网景公司在1994推出HTTPS协议，由SSL协议进行加密，这就是SSL的起源。SSL有1.0、2.0、3.0标准，后来IETF将SSL标准化并称其为TLS，因此SSL与TLS其实是一个东西。SSL和TLS的一些版本如下协议发布时间状态SSL 1.0未公布未公布SSL 2.01995年已于2011年弃用SSL...
最大堆的原理与实现
about 3 years ago
基本原理最大堆是一个二叉树，要求这个二叉树的父节点大于它的子节点，同时这个二叉树是一个完全二叉树，也就是说这个二叉树除了最底层之外的其它节点都应该被填满，最底层应该从左到右被填满。显然，最大堆的顶部节点的值是整个二叉树中最大的。我们使用数组来构建一个最大堆，使用数组构建一个二叉树最大堆存在如下性质。假设二叉树某节点在数组中的下标索引为index，则它的父节点在数组中的下标索引为parent = (index - 1) // 2，它的左子节点的下标索引为child_left = index * 2 +...
Pulsar的介绍与安装
about 3 years ago
简介Apache Pulsar是一个分布式消息队列，它主要由以下三部分组成。组件作用Broker负责producer和consumer的请求还有消息的复制与分发，Broker无状态不存储数据Zookeeper存储元数据、集群配置，负责任务协调还有服务发现等Bookkeeper消息数据还有cursors数据的持久化存储，Bookkeeper的每一个存储节点叫做bookieproducer往Pulsar发送数据，consumer从Pulsar接受数据，consumer接收数据的过程叫做subscription（订阅）。Pulsar有四种订阅模式模式名模式独占（exclusive）一个subscription只能有一个consumer，如果多个consumer使用相同的subscription去订阅一个topic就会报错故障转移（failover）一个subscription允许多个comsumer，但是只有一个consumer会工作。当当前consumer失去连接时，其它的consumer才会上线消费共享（shared）多个consumer可以使用同一个subscription去订阅一个topic，消息通过轮询的方式发送给consumer共享键（key_shared）和上面类似，只是消息会根据key的不同发送给不同的consumerBroker不存储数据，数据存储在Bookkeeper上。topic会分为多个partition，partition则会分配到不同的broker上，producer和consumer会与broker上的partition连接从而实现数据的发送和接收。Pulsar支持多层级的topic，可以设置是否持久化以及租户、命名空间还有topic的名称{persistent|non-persistent}://tenant/namespace/topic安装我们有三个节点172.19.67.171，172.19.67.190，172.19.67.202。首先我们在这三个节点上下载Pulsar的安装包useradd pulsarsu - pulsarwget https://archive.apache.org/dist/pulsar/pulsar-2.10.0/apache-pulsar-2.10.0-bin.tar.gztar -zxvf apache-pulsar-2.10.0-bin.tar.gzcd apache-pulsar-2.10.01. 安装Zookeeper集群，初始化Pulsar集群元数据修改每个节点的conf/zookeeper.conf配置文件，添加如下配置server.1=172.19.67.171:2888:3888server.2=172.19.67.190:2888:3888server.3=172.19.67.202:2888:3888之后针对每个节点的序号，把对应的序号设置到该节点的dataDir目录下的myid文件中mkdir -p data/zookeeperecho...