Forrest Hu's Blogs

Forrest Hu's Blogs

技术、架构与生活随笔 · 共 449 篇文章

  1. 《深度学习推荐系统实战》笔记

    ·Architecture MachineLearning

    简介 整体架构 数据部分 特征工程 整体设计 召回层/recall/matching 模型训练 模型 以Embedding+MLP 模型为例 技术架构 冷启动 ...

  2. keras 和 Estimator

    ·Architecture MachineLearning

    简介 原生api keras 顺序模型 函数式模型 实现 其它 和session 的关系 callback Estimator ...

  3. tensorflow分布式训练

    ·Architecture MachineLearning

    简介 基本概念 服务 进程 Low-level 分布式编程模型 High-level 分布式编程模型 Middle-level/Strategy 代码示例 与estimator 结合使用 ...

  4. 分布式训练的一些问题

    ·Architecture MachineLearning

    简介 基本理念 并行模式 通信技术 协议层 GPU 卡间通信 NCCL Gloo MPI 与 NCCL/GLOO 优化手段 数...

  5. 学习ebpf

    ·Technology Linux

    （未完成） 简介（未完成） demo 工作原理 应用初识 eBPF，你应该知道的知识简单来说，eBPF 是 Linux 内核中一个非常灵活与高效的类虚拟机（virtual machine-like）组件， 能够在许多内核 hook 点安全地执行字节码（bytecod...

  6. 基于Volcano的弹性训练

    ·Architecture MachineLearning

    简介 背景介绍 如何触发扩缩容 HPA方案 让volcano支持弹性调度 弹性扩缩容的实现 小结背景介绍训练任务基于k8s执行，由volcano负责调度，算法人员归属于不同的部门，一个部门对应一个volcano queue。因...

  7. 图神经网络

    ·Architecture MachineLearning

    （未完成） 简介（未完成）图神经网络的理论基础美团图神经网络训练框架的实践和探索图神经网络从入门到入门

  8. pytorch弹性分布式训练

    ·Architecture MachineLearning

    简介 弹性背景 train_script 的守护者elastic agent rendezvous/集会机制/实现服务发现 设计 RendezvousHandler RendezvousBackend Store ...

  9. 在离线业务混部

    ·Architecture Kubernetes

    简介 问题 技术要求 可观测性体系 操作系统级/资源隔离 任务冲突时的资源保障：Priority 和 Qos 调度层 解决方案 在离线混部数据中心日均 CPU 利用率 45% 的运行之道–阿里巴巴规模化混部...

  10. RNN

    ·Architecture MachineLearning

    （未完成） 简介（未完成） 为什么要发明循环神经网络 经典RNN 结构 字符集的循环神经网络 从零实现 循环神经网络，引入状态变量来存储过去的信息，并用其与当期的输入共同决定当前的输出。 多层感知机 + 隐藏状态 = 循环神经网络 应用到语言模型中时 ，循环神经...