Forrest Hu's Blogs

Forrest Hu's Blogs

技术、架构与生活随笔 · 共 453 篇文章

  1. 《大数据经典论文解读》 三驾马车学习

    ·Technology Compute

    前言 前言 GFS论文 MapReduce Bigtable Bigtable 的整体架构 单机存储 分布式锁Chubby 从两阶段提交到 CAP 问题 Paxos 通过 Chubby ...

  2. Spark 内存管理及调优

    ·Technology Compute

    前言内存划分及用途 内存区域划分 堆内内存 对外内存spark.memory.offHeap.enabled 作用 内存空间总大小 spark.executor.memory ...

  3. Yarn学习

    ·Technology Compute

    前言YARN 在字节跳动的优化与实践Yarn 的整体架构Yarn 是 Hadoop2.x 版本提出的一种全新的资源管理架构，基于主从（Master-Slave）模式，主要由 ResourceManager（RM）和NodeManager（NM）两大部分组成。除此之外，还有 ...

  4. 从Spark部署模式开始讲源码分析

    ·Technology Compute

    前言既然是分布式系统，就绕不开部署模式。部署模式一篇文章读懂：Spark运行模式运行Spark的应用程序，其实仅仅需要两种角色，Driver和Executor。Driver负责将用户的应用程序划分为多个Job，分成多个Task，将Task提交到Executor中运行。Exe...

  5. 分布式链路追踪

    ·Architecture Monitor

    简介 数据收集分布式链路跟踪中的traceid和spanid代表什么？在分布式链路跟踪中有两个重要的概念：跟踪（trace）和 跨度（ span）。从客户端发起请求抵达系统的边界开始，记录请求流经的每一个服务，直到向客户端返回响应为止，这整个过程就叫做一次Trace。由于...

  6. helm

    ·Architecture Kubernetes

    简介 Kustomize helm 原理 模板文件 Kubernetes 会是容器化崛起之路的终点线吗？它达到了人们对云原生时代技术基础设施的期望了吗？从易用角度来看，坦白说差距还非常大。云原生基础设施的其中一个重要目标，是接管掉业...

  7. 容器狂占内存资源怎么办？

    ·Technology Container

    简介 Linux内存管理的机制与特点 OOM Killer Memory Cgroup swap Linux内存管理的问题与解决 公平性问题 内存回收时的内存使用量的保证（锁定）能力 ...

  8. 多角度理解一致性

    ·Technology Distribute

    简介 从读写角度 线性一致性 顺序一致性 因果一致性 最终一致性 从其它维度 从“允许/不允许哪些操作顺序发生”角度 Quorum 机制 其它陈现麟：最早研究一致性的场景并不是分布式系统，而是多路处理器。...

  9. tensorflow原理——python层分析

    ·Architecture MachineLearning

    简介 feature_column 对外使用的函数 FeatureColumn LazyBuilder EmbeddingColumn StateManager Variable Layer Op...

  10. 如何学习tensorflow

    ·Architecture MachineLearning

    简介tensorflow 如此复杂，以至于如何学习tensorflow 也是门学问，根据踩过的坑，汇总一下学习路径 机器学习基本原理 基本原理：前向后向，梯度下降（自动微分），特征工程 可以进行矩阵推导 dnn,cnn,gnn ...