最新型号:

微信扫一扫
关注我们

当前位置:首页 >> 技术资料 >> 嵌入式系统/ARM技术 >> DSP很难学?一文读懂系统技术架构

DSP很难学?一文读懂系统技术架构

文章出处:电子产品世界 发布时间: 2017/12/07 | 247 次阅读

  前面基本已经将的典型模式、主要机制及要点都介绍了。可能有些同学会好奇系统内部的技术架构。下面截取部分系统的技术架构图供大家参考,同样对于非技术的同学对此有个感性认识即可。也不做大篇幅的展开了。

  1. 技术架构概要

  如图7-22所示,DSP系统从技术架构上涉及:投放平台、投放设置用户交互模块(setup UI)、报表(Report)、算法引擎等等模块。算法引擎模块主要是大数据及算法的机器学习大量采用分布式技术(例如hadoop),对用户日志、人群数据进行建模及机器智能处理。算法引擎模块处理好的人群数据、算法模型等等数据通过海量内存技术(例如redis)暂存在内存中,便于Bid投放引擎快速查询使用,全部暂存在内存中的目的是为了在100ms完成竞价过程,确保在DSP方<30ms处理完成,为网络通讯流出时间。Bid投放引擎是典型的大集群模式用于响应大并发的请求,且确保每个请求<30ms处理完成。Bid投放引擎的投放规则(预算、频次、投放策略设置等等数据)也都是存在内存中的便于快速查询。投放策略设置的数据内容都是用户通过投放设置用户交互模块中的界面完成的。另外还有一些十分重要的辅助模块,例如:广告曝光点击数据回收模块、idmapping模块、大数据报表模块、内置DMP模块等等。

    

  图7-22 技术架构概要示例

  2. DSP内部技术处理流程概要

  DSP内部技术处理主要依赖一些关键技术处理设施,主要的包括:原始海量log系统、海量消息并行处理队列(例如采用spark技术)、海量内存系统(例如采用redis技术)、业务系统关系型数据数据库等等。如图7-23所示,一条技术处理线路是广告请求处理线:广告竞价Bidder海量的实时广告请求处理会产生海量的原始log、同时Bidder也频繁的同海量内存系统交互读写广告请求相关的频次、消耗等等数据,然后广告请求log经过过并行处理队列处理灌入报表数据库及相应的大数据人群及模型数据库。另一条技术处理线路是广告曝光、点击等等监测数据的回收,开始也是产生大量的原始log、同时数据回收引擎同海量内存系统交互写如广告曝光、点击相关的频次、消耗等等数据。然后广告曝光、点击log经过过并行处理队列处理灌入相应报表数据库及相应的大数据人群及模型数据库,同时并行处理队列进行大量的机器智能分析更新部分人群数据及模型数据,同时同步更新到Bidder数据库及内容系统中供Bidder实时竞价时使用。

    

  图7-23 DSP内部技术处理流程概要示例

  3. DSP竞价核心处理流程概要(<30ms)

  如图7-24所示,DSP的Bidder竞价模块设计约束核心处理时间极短,<30ms。为了解决适配不同ADX流量的不同接口。在接受广告请求,及输出返回时,会针对不同ADX平台接口使用适配器设计模式采用不同适配器予以处理。但整体处理流程不变。中间业务处理部分也使用过滤器的设计模式,增加新业务时根据业务需要增加过滤器实现即可。这样做的好处是整体的Bidder竞价核心模块处理流程框架相对稳定,不会随这业务的变化而变化。具备十分强大的业务灵活性和应对高性能的水平扩充性。

    

  图7-24 DSP竞价核心处理流程概要示例

  4. 竞价程序处理过程概要

  如图7-25所示,Bidder竞价处理器内部也会依据业务处理依次分为:索引器快速过滤广告(采用索引器的好处是检索效率极高,当然索引器仅能用户简单的过滤条件,例如:尺寸索引、平台及广告位索引、浏览器索引、操作系统索引、地域索引等等)。广告过滤(投放策略相关规则需计算的过滤条件是无法使用索引器,例如:预算、曝光、日期、频次、人群定向、创意类型等等)。上述这两层过滤都是为了广告请求过滤可供投放的候选广告列表,然后通过出价算法的处理给出该广告列表中各广告的出价(这里可能会用到动态出价算法,也可能使用的固定出价策略(采用何种出价策略及是否使用算法都是在投放设置界面中有人工设设置的))。然后会进行低价过滤(根据广告请求中的底价过滤掉出价低于底价的那些候选广告)。最后排序并决策胜出(根据各候选广告的出价及算法附带给出的优先级权重综合排序,排名第一的胜出,即将以该广告内容准备竞价返回)。曝光点击动态代码生成(以上一步胜出的广告内容生成曝光点击动态代码,生成动态曝光点击代码有很多目的,例如防作弊,全程携带投放参数追踪等等)。Bid/Unbid日志记录(结束处理时异步启动)。

    

  图7-25竞价程序处理过程概要示例

  5. 分布式集群概要

  如图7-26所示,为了应对海量的广告竞价业务需要,及大数据的分布式计算基础设施的需要。DSP在系统架构设计上需要支持分布式支持水平扩容,架构支持大并发、大数据、高可用、高容错等等特征。

    

  图7-26 分布式集群概要示例

技术资料出处:电子产品世界
该文章仅供学习参考使用,版权归作者所有。
因本网站内容较多,未能及时联系上的作者,请按本网站显示的方式与我们联系。现在联系我们

 

加快设计流程的两种嵌入式系统开发方案的设计

在日益信息化的现代社会中,计算机和网络的应用已经全面渗透到日常生活中,各种应用嵌入式系统的电子产品也随处可见,计算机的应用经过桌面PC系统的空前之后,嵌入式系统的...

详解嵌入式开发中DSP与FPGA的关系

常所说的单片机侧重于控制,不支持信号处理,属于低端嵌入式处理器,arm可以看做是低端单片机升级版,支持操作系统管理,更多接口如网卡,处理能力更强;fpga是可编程逻辑器...

ARM11和DSP的3G视频安防安全帽设计方案

1.引言 为提高在高危工作场所现场作业的可控性,本文采用仿生学原理和高集成度设计实现了与人眼同视角的3G视频安全帽。本设计由视频安全帽和腰跨式数据处理终端两部分组....

结合FPGA与DSP的仿人假手控制系统设计

仿人假手作为肢残患者重获人手功能的主要对象,具有重大的社会需求。理想的假手应具有人手的仿生特征,主要体现在假手构造、控制方式与环境感知3个方面,但由于其有限的体积...

ARM+DSP的嵌入式四轴运动控制器设计

运动控制系统已被广泛应用于工业控制领域。近年来,工业控制对运动控制系统的要求越来越高。传统的基于PC及低端微控制器日渐暴露出高成本、高消耗、低可靠等问题,已经不能...

顶我一下 0次

关闭】【推荐】【打印】【收藏此页

本文已有(0)篇评论

发表评论

验证码:  验证码,看不清楚?请点击刷新验证码

字符数不能超过255

用户评论

  • 暂且没有评论!
IC现货资源
PCB打样

每日推荐

双转子发动机的工作原理及优缺点

提起马自达RX8,首先想到的就是它独具特色的双转子发动机,人们都会为它接近9000转/分的转速和231匹强大功率赞叹不已,因为它仅仅只有1.3升的排气量。构造非常简单,总的来说,就是由缸体和转子以及输出轴构成了它的本体 比起活塞式发动机庞大的曲柄连杆机构,复杂的配气机构,它...[全文]

PDF资料