Forrest Hu's Blogs

Forrest Hu's Blogs

技术、架构与生活随笔 · 共 449 篇文章

  1. kubebuilder 学习

    ·Architecture Kubernetes

    简介 从 code-generator开始 和controller-runtime 的关系 示例demo 其它Kubernetes 这样的分布式操作系统对外提供服务是通过 API 的形式，分布式操作系统本身提供的 API 相当于单机操作系统的系统调用。Kuberne...

  2. 学习mesh

    ·Technology Mesh

    前言 前言 规范 技术决策案例服务网格在百度核心业务大规模落地实践 具体细节倒还好，比较有价值的就是提出了落地图景和理想化状态。蚂蚁集团 Service Mesh 进展回顾与展望 提供了演进脉络。考虑的问题 技术选型 性能问题和资源问题 网络接入...

  3. mpi

    ·Architecture MachineLearning

    简介 一个接口规范 MPI程序如何运行？ 示例 容器时代的MPI专门有一本书叫《高性能计算之并行编程技术—— MPI并行程序设计》一个接口规范在 90 年代之前，程序员可没我们这么幸运。对于不同的计算架构写并发程序是一件困难而且冗长的事情。当时，很多软件库可以帮助写...

  4. 学习pytorch

    ·Architecture MachineLearning

    简介 什么是pytorch 数据读取 模块 优化器 使用gpu 用v0.1.0 来解释正向和反向传播 前向传播 反向传播 观察一个运行中的Tensor 各种大杂烩 部署 其它这是我见过最好的NumP...

  5. kvm虚拟化

    ·Technology Container

    简介 cpu 虚拟化 KVM + QEMU 命令行方式创建一个传统虚拟机 其它虚拟化技术的发展 主机虚拟化，一台物理机可以被划分为若干个小的机器，每个机器的硬件互不共享，各自安装操作系统 硬件虚拟化，同一个物理机上隔离多个操作系统实例...

  6. client-go学习

    ·Architecture Kubernetes

    简介 使用方式 RESTClient ClientSet 方式 informer 方式 Dynamic client 其它 更新status...

  7. tensorflow学习

    ·Architecture MachineLearning

    简介 核心概念 数据节点 计算图 会话 demo 数据读取 feed_dict 读取csv（不建议） Dataset TFRecord 文件 为计算图加入控制逻辑 ...

  8. 提高gpu 利用率

    ·Architecture MachineLearning

    简介 gpu 共享 虚拟化（未完成） 弹性训练 gpu 监控 显存 单机 exporter gpu 共享 支持共享gpu，按卡和按显存调度共存（主要针对推理和开发集群）。通过共享gpu 的方式提高资源利用率，将多应用...

  9. GPU与容器的结合

    ·Architecture MachineLearning

    简介 上报/调度/容器创建 上报细节 nvidia gpu operator使用 Elastic GPU 管理 Kubernetes GPU 资源在 GPU 场景，还是存在以下不足： 集群 GPU 资源缺少全局视角。没有直观方式可获取集群层面 GPU 信息，比如 P...

  10. GPU入门

    ·Architecture MachineLearning

    简介 GPU 为什么深度学习需要使用GPU GPU 架构 CPU 与GPU 协作 GPU 编程CPU 和 GPU - 异构计算的演进与发展世界上大多数事物的发展规律是相似的，在最开始往往都会出现相对通用的方案解决绝大多数的问题，随后会出现为某一场景专门设计的解决方...