Forrest Hu's Blogs

Forrest Hu's Blogs

技术、架构与生活随笔 · 共 453 篇文章

  1. 数据并行——allreduce

    ·Architecture MachineLearning

    简介 基本原理 《用python实现深度学习框架》 api示例（待补充） horovod 使用 架构 horovodrun 做了什么 与tf 融合 弹性训练 与k8s运行 基本原理Ring ...

  2. 数据并行——ps

    ·Architecture MachineLearning

    简介 基本过程 为什么弄一个ps server 几点设计 异步 分布式 存储两类数据 实现 ElasticDL——ps实现 《用python实现深度学习框架》——ps实现 ps ...

  3. golang io使用及优化模式

    ·Technology Go

    前言 前言 业务层一般处理逻辑 常见优化 带缓存的网络 I/O 重用内存对象 上层封装——以getty 为例 分层 启动流程 数据读取 发送数据 各个场景下的代码示...

  4. Flink学习

    ·Technology Compute

    前言Spark Streaming 是将实时数据流按时间分段后，当作小的批处理数据去计算。那么 Flink 则相反，一开始就是按照流处理计算去设计的。当把从文件系统（HDFS）中读入的数据也当做数据流看待，他就变成批处理系统了。《大数据处理实战》spark RDD 是否就是...

  5. c++学习

    ·Technology CPP

    简介 标准库 多线程 内存管理为什么每一名程序员都应该学习 C++？学习多种语言会使你在软件开发生涯中更加自信和娴熟。例如，如果你掌握了 Go 语言，你就会了解几个令人印象深刻的语言设计概念，提高自己的通用编程技能。C++ 是一种高级语言，它提供了比 C 语言更高级、...

  6. 机器学习中的python调用c

    ·Architecture MachineLearning

    简介 pybind11 自定义算子 tensorflow/custom-op tensornet框架 自定义ops 示例 horovod跨语言调用，有几个问题 一些要素 在跨语言间的对应关系，比如c++ 的对象、函数、全局变...

  7. 机器学习训练框架概述

    ·Architecture MachineLearning

    简介 抽象层 组件抽象 组件实现 执行层 极简demo 分布式 推荐文章手把手教你如何自己设计实现一个深度学习框架（附代码实现） 对机器学习在工程上的实现和抽象说的比较透。tinynn 只...

  8. embedding的原理及实践

    ·Architecture MachineLearning

    简介 基本概念及原理 实践 案例 Embedding与深度学习推荐系统的结合 tensorflow 实现 嵌入层的优化 原理上 工程上 基本概念及原理一种表述：Embedding 是个英文术语，如...

  9. tensornet源码分析

    ·Architecture MachineLearning

    Wide&Deep模型Demo 源码结构 PsStrategy 相对 MultiWorkerMirroredStrategy 做了什么 tn.feature_column.category_column相比tensorflow自带的 有何不同（未完成） tn...

  10. 大模型训练

    ·Architecture MachineLearning

    简介 什么是大模型 大了难在哪 CV和NLP场景 推广搜场景 模型保存 解决思路大模型：id 化导致模型变大，模型变大需要更多的数据才能收敛。第一视角：深度学习框架这几年 作者深度参与了tf 等几个框架，对很多事情有独...