Forrest Hu's Blogs

Forrest Hu's Blogs

技术、架构与生活随笔 · 共 449 篇文章

  1. 分布式链路追踪

    ·Architecture Monitor

    简介 数据收集分布式链路跟踪中的traceid和spanid代表什么？在分布式链路跟踪中有两个重要的概念：跟踪（trace）和 跨度（ span）。从客户端发起请求抵达系统的边界开始，记录请求流经的每一个服务，直到向客户端返回响应为止，这整个过程就叫做一次Trace。由于...

  2. helm

    ·Architecture Kubernetes

    简介 Kustomize helm 原理 模板文件 Kubernetes 会是容器化崛起之路的终点线吗？它达到了人们对云原生时代技术基础设施的期望了吗？从易用角度来看，坦白说差距还非常大。云原生基础设施的其中一个重要目标，是接管掉业...

  3. 容器狂占内存资源怎么办？

    ·Technology Container

    简介 Linux内存管理的机制与特点 OOM Killer Memory Cgroup swap Linux内存管理的问题与解决 公平性问题 内存回收时的内存使用量的保证（锁定）能力 ...

  4. 多角度理解一致性

    ·Technology Distribute

    简介 从读写角度 线性一致性 顺序一致性 因果一致性 最终一致性 从其它维度 从“允许/不允许哪些操作顺序发生”角度 Quorum 机制 其它陈现麟：最早研究一致性的场景并不是分布式系统，而是多路处理器。...

  5. tensorflow原理——python层分析

    ·Architecture MachineLearning

    简介 feature_column 对外使用的函数 FeatureColumn LazyBuilder EmbeddingColumn StateManager Variable Layer Op...

  6. 如何学习tensorflow

    ·Architecture MachineLearning

    简介tensorflow 如此复杂，以至于如何学习tensorflow 也是门学问，根据踩过的坑，汇总一下学习路径 机器学习基本原理 基本原理：前向后向，梯度下降（自动微分），特征工程 可以进行矩阵推导 dnn,cnn,gnn ...

  7. 数据并行——allreduce

    ·Architecture MachineLearning

    简介 基本原理 《用python实现深度学习框架》 api示例（待补充） horovod 使用 架构 horovodrun 做了什么 与tf 融合 弹性训练 与k8s运行 基本原理Ring ...

  8. 数据并行——ps

    ·Architecture MachineLearning

    简介 基本过程 为什么弄一个ps server 几点设计 异步 分布式 存储两类数据 实现 ElasticDL——ps实现 《用python实现深度学习框架》——ps实现 ps ...

  9. golang io使用及优化模式

    ·Technology Go

    前言 前言 业务层一般处理逻辑 常见优化 带缓存的网络 I/O 重用内存对象 上层封装——以getty 为例 分层 启动流程 数据读取 发送数据 各个场景下的代码示...

  10. Flink学习

    ·Technology Compute

    前言Spark Streaming 是将实时数据流按时间分段后，当作小的批处理数据去计算。那么 Flink 则相反，一开始就是按照流处理计算去设计的。当把从文件系统（HDFS）中读入的数据也当做数据流看待，他就变成批处理系统了。《大数据处理实战》spark RDD 是否就是...