Ilyee Blog

「時光瞬刻」

从啥也不会到DeepSpeed————一篇大模型分布式训练的学习过程总结

为什么我要写这个？ 系统化的学习大模型，除了知道大模型是什么，也得知道大模型是如何训练的，对大模型的实际应用有更加定量的认知，该文章也算是一篇分布式训练的学习过程总结，作为循序渐进学习分布式训练的总结 类似之前写过的LLM文章，本文也建议读者先定性有个宏观认知，然后再细化到某个概念定量了解，遇到不太清楚的概念深度递归去学习 为什么需要分布式训练？ 主要有两点： 对小...

Posted by ilyee on March 6, 2024

1+1为什么等于2————致15年前的自己

如果你期待这里是哥德巴赫猜想的证明啥的，那你可能要失望了，这里只是一个纯粹的自然数加法证明。 引言 15年前，和同学闲聊的我被一个问题难住了。 1 2 3 4 5 ：1+1等于几？ ：2 ：1+1为什么等于2？ 面对这个问题我一时语塞，对于一个没接触过高等数学的中学生来说，这种抽象的问题没有任何切入点和思路，我甚至回家后还搜索了百度，但是也没得到自己满意的答案（当然如果那个时候...

Posted by ilyee on March 5, 2024

从啥也不会到GPT-3和InstructGPT————一篇LLM的学习过程总结

为什么我要写这个？ 记录一下本人从算法出身到从事工程再”从零开始“利用网络的文档学习LLM算法的过程 网上关于大模型算法的论文解读，深入理解等文章已经够多了，因此本篇文章不会写太多解读相关内容，我更希望这篇文章是一个索引或者指南，把所有值得学习的文档（包括论文）整理起来，通过按照顺序阅读这些文档循序渐进的学习大模型的相关知识 本文会以你没有大模型相关知识为开头，从机器学习基本原理开始逐...

Posted by ilyee on February 26, 2024

游戏公司面对AI的困境

大模型的火爆，让中国游戏圈感受到了前所未有的“AI焦虑症”。AIGC在游戏美术、游戏文案甚至游戏建模等领域都带来了不小的冲击，AI高效高质量且低成本的内容生成本让每个从业人员都倍感压力，我们也在23年年底看到大量游戏从业人员的失业（当然也不只是因为AIGC）。因此，游戏公司AI技术的储备显得格外重要。 但是，游戏公司真的能做好AI吗？ AI团队的分工 首先我们得知道，AI可不只是找几个...

Posted by ilyee on February 21, 2024

一些随笔

也算是正式把多年前承诺的博客给运营起来了，从知乎把不少以前写的文章搬运了过来，不过我也在思考后面如果写了新的文章还会发到知乎吗？不管如何，今天也算我的博客正式开启的一天，随便写点东西以示纪念。 希望接下来的2023年，一切会更好。

Posted by ilyee on March 22, 2023

ssr部署

本文以centos7为例指导ssr服务器的部署和使用 安装git yum install git 或者参考git官方链接安装git 配置ssr密钥 运行ssh-keygen，参数全选默认 1 2 cd ~/.ssh/ cat id_rsa.pub 复制id_rsa.pub公钥内容 在这里将复制的公钥配置给github 拉取ssr的github仓库 1 2 3 cd ~ ...

Posted by ilyee on March 21, 2023

一致性哈希算法

目标 解决分布式缓存问题 例如数据库场景中，添加一个备份服务器时，如何将已有数据根据某列重新均衡 哈希环 算法 设$hash(x)$是映射到区间$[0, 2^{32}-1]$上的一个哈希函数，把区间首尾相连，形成一个顺时针增长的哈希环 将所有槽位$N_0$,$N_1$,…,$N_{n-1}$的标号$0$,…,$n-1$依次作为$hash$函数...

Posted by ilyee on March 21, 2023

OCI的全链路生态

导语 本文旨在通过OCI介绍镜像的全链路生态，帮助读者更好的理解镜像和其生态。 引言 镜像的生态覆盖面极广，为了介绍这一技术，不妨从本人的一个经历说起：在刚接触Docker源码时，代码里嵌套的许多概念让我摸不着头脑，例如Manifest和Descriptor等，一些容易混淆的结构体命名（例如v2版本的镜像配置在代码内的结构体名为Image）也降低了代码的阅读效率，导致我常常处于”懂了，...

Posted by ilyee on September 30, 2021

镜像延迟加载技术解析

1. 概述 现在越来越多的AI训练选择用镜像的方式进行，然而tensorflow等镜像的大小要远大于一般镜像（dockerhub上tensorflow/tensorflow:latest-devel-gpu有3.19GB，同比centos:latest只有约234MB），如此庞大的镜像给AI训练带来较大的镜像拉取时延。然而，在AI训练场景下，镜像内的许多文件可能是不需要去访问的（例如ten...

Posted by ilyee on January 25, 2021

Haystack架构解析

1. 概述 ​Haystack是facebook开源的储存海量小文件的方案，它是一种针对Facebook的“照片”应用程序优化的对象存储系统，并且对比传统存储系统，Haystack提供了一种更便宜，性能更高的解决方案。 1.1 文件io寻址过程 为了更好的阐述Haystack架构，这里简单回顾一下linux下文件io寻址的过程。 linux里所有文件系统抽象为VFS（虚拟文件系统...

Posted by ilyee on November 25, 2020

FEATURED TAGS
分布式 大模型 容器 机器学习 镜像 随笔
ABOUT ME

曾就职于微软和腾讯, 目前就职于米哈游, 从事云、AI、大数据等PAAS领域, 封面是韩国独立组合dareharu的歌曲配图(FLOWER和KARMA)

FRIENDS