Forrest Hu's Blogs

Forrest Hu's Blogs

技术、架构与生活随笔 · 共 453 篇文章

  1. 图神经网络

    ·Architecture MachineLearning

    （未完成） 简介（未完成）图神经网络的理论基础美团图神经网络训练框架的实践和探索图神经网络从入门到入门

  2. pytorch弹性分布式训练

    ·Architecture MachineLearning

    简介 弹性背景 train_script 的守护者elastic agent rendezvous/集会机制/实现服务发现 设计 RendezvousHandler RendezvousBackend Store ...

  3. 在离线业务混部

    ·Architecture Kubernetes

    简介 问题 技术要求 可观测性体系 操作系统级/资源隔离 任务冲突时的资源保障：Priority 和 Qos 调度层 解决方案 在离线混部数据中心日均 CPU 利用率 45% 的运行之道–阿里巴巴规模化混部...

  4. RNN

    ·Architecture MachineLearning

    （未完成） 简介（未完成） 为什么要发明循环神经网络 经典RNN 结构 字符集的循环神经网络 从零实现 循环神经网络，引入状态变量来存储过去的信息，并用其与当期的输入共同决定当前的输出。 多层感知机 + 隐藏状态 = 循环神经网络 应用到语言模型中时 ，循环神经...

  5. pytorch分布式训练

    ·Architecture MachineLearning

    简介 整体思路 单机单卡 单机多卡 分布式训练 模板代码 实际例子 对训练的影响 DDP 总体实现 ProcessGroup 如何让 worker 在建立ProcessGroup之前发现彼此？ ...

  6. CNN

    ·Architecture MachineLearning

    简介 卷积： 计算机的眼睛 CNN LeNet卷积神经网络笔记中文版 未读卷积： 计算机的眼睛在使用卷积之前，人们尝试了很多人工神经网络来处理图像问题，但是人工神经网络的参数量非常大，从而导致非常难训练。举例说来，一个尺寸为200x200x3的图像，会让神经元包含20...

  7. go设计哲学

    ·Technology Go

    前言 前言 组合 垂直组合 水平组合 并发 其它深入剖析对 Go 的成功作出巨大贡献的设计决策组合《Go语言第一课》在 Go 语言设计层面，Go 设计者为开发者们提供了正交的语法元素，以供后续组合使用 Go 语言无类型层次体...

  8. 《动手学深度学习》笔记

    ·Architecture MachineLearning

    （价值不大，审视后可以废弃） 简介（价值不大，审视后可以废弃） 异步计算 单机多GPU数据并行 多GPU 之间同步数据 单个小批量上的多GPU训练 定义训练函数 书籍附带的代码 是由MXNet 写的，github 有一个...

  9. pytorch与线性回归

    ·Architecture MachineLearning

    简介 《极客时间》重学线性代数 矩阵 numpy 数组访问 pytorch 张量/Tensor 用张量验证 链式法则 用张量运算表示 多层感知机 用张量运算表示机器学习过程 其它《极客时间》重学线性代...

  10. ceph学习

    ·Technology Storage

    前言 前言 存储集群 RADOS 逻辑概念 pg 和 pool（未完成） 如何访问 RADOS RGW RBD cephfs 安装 使用对象存储和文件存储的区别是不大的，存储的都是一样的东西，只是抛弃了统一的命名...