Forrest Hu's Blogs

Forrest Hu's Blogs

技术、架构与生活随笔 · 共 453 篇文章

  1. tensorflow学习

    ·Architecture MachineLearning

    简介 核心概念 数据节点 计算图 会话 demo 数据读取 feed_dict 读取csv（不建议） Dataset TFRecord 文件 为计算图加入控制逻辑 ...

  2. 提高gpu 利用率

    ·Architecture MachineLearning

    简介 gpu 共享 虚拟化（未完成） 弹性训练 gpu 监控 显存 单机 exporter gpu 共享 支持共享gpu，按卡和按显存调度共存（主要针对推理和开发集群）。通过共享gpu 的方式提高资源利用率，将多应用...

  3. GPU与容器的结合

    ·Architecture MachineLearning

    简介 上报/调度/容器创建 上报细节 nvidia gpu operator使用 Elastic GPU 管理 Kubernetes GPU 资源在 GPU 场景，还是存在以下不足： 集群 GPU 资源缺少全局视角。没有直观方式可获取集群层面 GPU 信息，比如 P...

  4. GPU入门

    ·Architecture MachineLearning

    简介 GPU 为什么深度学习需要使用GPU GPU 架构 CPU 与GPU 协作 GPU 编程CPU 和 GPU - 异构计算的演进与发展世界上大多数事物的发展规律是相似的，在最开始往往都会出现相对通用的方案解决绝大多数的问题，随后会出现为某一场景专门设计的解决方...

  5. AI云平台

    ·Architecture MachineLearning

    简介 虎牙 腾讯 阿里 vivo 腾讯 美团 其它《人工智能云平台原理、设计与应用》近年来涌现了很多智能算法，这些算法需要软件的支撑，没有软件的支撑，理论很难与应用相结合，新硬件也很难为应用提速，所以巨头们推出了TensorFlow、Pytorch等开源框架，...

  6. tf-operator源码分析

    ·Architecture Kubernetes

    简介 从kube-flow说起 案例 源码分析 reconcilePods reconcileServices Running jobs with gang-scheduling kubeflow/commmon从kube-...

  7. k8s批处理调度

    ·Architecture Kubernetes

    简介 必要性 示例文件 整体设计 基本概念 接口层：queue/podgroup 实现层：action 和plugin 调度流程 其它 调度策略 pod 状态变化 监控 ...

  8. 喜马拉雅容器化实践

    ·Architecture Kubernetes

    简介 如何让开发发布代码到容器环境 一个容器要不要多进程 健康检查的三心二意 与发布平台对接 与已有中间件对接 体会喜马的容器化历程伴随着 公司的发展，并带有很深刻的喜马的烙印 以java 项目为主 java 项目主要分为 web 项目和rpc 项目（基于公...

  9. 学习MQ

    ·Technology MQ

    前言 前言 消费模型 可靠性 事务消息 pulsar 存储MQ 正在变成臭水沟消息队列的精髓与灵魂从理论、抽象层面泛泛的谈了下关于消息队列的一些思想和理念。消费模型 队列模型，如果有多个生产者往同一个队列里面发送消息，这个队列中可以消费到的消息，就是这些生产者...

  10. go编译器

    ·Technology Go

    前言 前言 go编译器 Go 程序启动引导 defer 堆上分配 栈上分配 开放编码式 panic /recover pprofGo语言编译器 未读完 N种语言+M种机器=N+M个任务，有几种方案 ...