Everything you care about in one place
Follow feeds: blogs, news, RSS and more. An effortless way to read and digest content of your choice.
Get Feederblog.lucien.ink
Lucien's Blog
Get the latest updates from Lucien's Blog directly as they happen.
Follow now 17 followers
Latest posts
Last updated 4 months ago
zsh 配置备忘
4 months ago
本文地址：blog.lucien.ink/archives/551在这里记录一下我自己的 zsh 配置。mkdir -p "${HOME}/.local" cd "${HOME}/.local" git clone https://github.com/zsh-users/zsh-syntax-highlighting.git --depth=1 -b...
从零开始实践大模型 - 模型推理
5 months ago
本文地址：blog.lucien.ink/archives/550以 Qwen2 为例，本章节将介绍在配置好环境后，如何快速启动一个模型服务，并将简单介绍面向生产的模型服务应该怎样部署。下载模型以 Qwen2.5-0.5B-Instruct 为例，因为它的尺寸很小，架构也和 Qwen2.5-72B-Instruct 一样。在这里，我们首先将 Qwen2.5-0.5B-Instruct 模型下载至本地，而在此之前，还需要再做一些准备。在大部分情况下我都推荐使用 git clone 的方式，而不是使用官方提供的...
从零开始实践大模型 - 配置环境
11 months ago
本文地址：blog.lucien.ink/archives/549本文将介绍在面向深度学习时，推荐的环境配置以及一些使用 Linux 的习惯。本文的部分内容与 Debian 下 CUDA 生产环境配置笔记 有所重叠，但也有些许的不一样，在正文中不额外注明。前言本文将主要分 4 部分：配置 SSH 登陆安装显卡驱动安装...
从零开始实践大模型 - 安装系统
11 months ago
本文地址：blog.lucien.ink/archives/548本章节将介绍在面向深度学习时，推荐安装的系统以及对应的安装选项。系统选择目前主流操作系统有 Linux、macOS、Winodws，如果不考虑日常当作个人电脑来使用的话，强烈建议使用 无图形化界面 的 Linux，因为图形化界面会占用一定的显存（虽然也有不占用显存且同样拥有图形化的方法，这不在本文的讨论范围）。接下来就是 Linux 发行版的选择，大部分企业（包括 NVIDIA 自己）会选择 Ubuntu，因为内置的东西多，笔者在这里不选择 Ubuntu，也是因为它内置的东西太多了，比如 snap...
自建 Docker 镜像源
11 months ago
本文地址：blog.lucien.ink/archives/547本文主要参考自：自建Docker 镜像/源加速的方法1. 简介最近 Docker Hub 被禁一事引起了不小的波动，在这里简单讲下在这之后应该如何访问公开的 Docker Hub。2. Cloudflare2.1 搭建搭建的前提是有一个在 Cloudflare 中被管理的域名，此处不展开介绍，在这里假设这个域名是...
使用 300 元的显卡推理 Qwen1.5-14B
about 1 year ago
本文地址：blog.lucien.ink/archives/546一直以来模型推理成本对于想要使用大模型却又注重隐私的用户来说都是个难题，今天在这里探讨一下如何用尽可能低的成本去获得尽可能高的模型性能。曾经尝试过用 Tesla P4（目前市场价 300 元，7.5G 显存）使用 vllm 去跑 GPTQ 量化版本的 Qwen 7B，提示显卡太旧无法支持...
WireGuard 配置备忘
about 1 year ago
本文地址：blog.lucien.ink/archives/545最近学会了用 WireGuard 来打洞，在此记录一下以备忘。概述cd /etc/wireguard wg genkey > private && chmod 600 private...
ChatGPT 相关资料收集
about 2 years ago
本文地址：blog.lucien.ink/archives/538本文用来收集各种和生成式模型相关的内容，由于 ChatGPT 是其代表，也是会被写入人类历史进程的一个名字，所以便用 ChatGPT 作为标题的一部分，以表示我对 OpenAI 团队由衷的敬佩。Improving Language Understanding by Generative Pre-Training...
OpenWRT 安装 PassWall
about 2 years ago
本文地址：blog.lucien.ink/archives/537访问 OpenWRT Download Server，找到自己的架构，以 x86_64 为例：在 /etc/opkg/customfeeds.conf 中添加 src/gz openwrt_kiddin9 https://op.supes.top/packages/x86_64注释或删掉 /etc/opkg.conf...
PVE 下解决 iKuai 断流、重启问题
over 2 years ago
本文地址：blog.lucien.ink/archives/5360. 前言懒得看过程可直接移步第 2 部分之前入手了 N5105 + i225-V，收到后装了 PVE 7.2 作为底层系统，虚拟化 iKuai +...
OpenWRT 扩容
over 2 years ago
本文地址：blog.lucien.ink/archives/535官网原生的 overlay 只有 100M，不够用。本文只讨论新安装的情形，已安装扩容的场景在本文不涉及。步骤假设从官网下载的文件名为 openwrt-22.03.2-x86-64-generic-squashfs-combined.img.gz。# 解压 gzip -kd openwrt-22.03.2-x86-64-generic-squashfs-combined.img.gz # 重命名，方便操作 mv...
Debian 下 CUDA 生产环境配置笔记
over 2 years ago
最近整了张 Tesla P4，由于是半高卡，索性就直接将其塞进了我的 NAS 里，试图将原来用 onnx 跑在 CPU 上的模型迁移至 GPU 上，遇到了些许问题，在此记录下。本文地址：blog.lucien.ink/archives/5340. 前言由于是用于生产环境，我的所有服务（包含本次要迁移的模型）都是容器化运行的，所以我这次也是考虑用...