为何要从算力角度来看AI的发展？
发布时间:2018/5/20 16:04:57 访问次数:1306
- 51电子网公益库存:
- VCA810ID
- H12104DNG
- D12332VFC25V
- B0505S-3WR2
- F1H16TP
- P25NM60N
- S-1110A
- YFF21SC1H102M
- Z85C3008VEC
- 6125TD4-R
- 93AA66AT-I/OT
- 0437005.WR
- 30ETH06PBF
- QED123
- T62M0001A-D
硬件算力的提升一直是ai快速发展的重要因素。因此，openai表示，如果我们希望目前的发展趋势持续下去，我们就需要为研发远超当前算力的全新系统做好准备。
openai是2015年成立的ai非营利组织，由以埃隆·马斯克为首的诸多硅谷大亨联合建立，致力于推动ai发挥积极作用、避免ai带来的问题。
推动ai发展的动力有三个：算法、数据、算力。算法是否有创新发展难以量化跟踪，而数据的巨大体量也难以计算，但算力是可以量化的，这为我们探究ai的发展进程提供了机会。
openai认为，虽然使用大量的算力暴露出了当前ai算法不够高效的问题，但是，重要的技术突破依然必须在足够的算力基础上才能实现。所以，从算力的角度来审视ai的发展是合理的。
在算力的分析中，openai认为起决定作用的数字并不是单个cpu的速度，也不是数据中心的最大容量，而是用于训练单个模型所需的算力——这一数值最有可能代表当前最佳算法的强大程度。
以模型计的算力需求与总算力有很大不同，因为并行计算的限制（硬件和算法上）使得模型不可能太大，训练的效率也不会太高。
openai发现，目前，算力发展的趋势是每年大约增加10倍。这种增长的实现，部分是因为有更为专业的硬件（如gpu和tpu）使得芯片每秒能够执行更多操作，但主要还是因为有研究人员们不断寻找更好的并行计算方法，并花费大量资金才实现的。http://weiyoudu01.51dzw.com
这份分析报告中，openai使用petaflop/s-day（pfs-day）作为算力的计量单位。一个单位的petaflop/s-day（pfs-day）代表在一天时间内每秒执行10^15 次，总计约为10^20次神经网络操作（operations）。这种计量方法类似于电能的千瓦时。
openai不测量硬件flops数的理论峰值，而是尝试估计执行的实际操作数量。openai将任何加法或乘法计为单个操作，而不考虑数值精度，同时忽略集成模型。
openai在分析报告中给出了两张图表，展示了最为人熟知的几个ai机器学习模型以petaflop/s-days计的计算总量，即其所需的算力。
2014年-2016年：普遍使用10-100个速度为5-10 tflops的gpu进行大规模的模型训练，可达到0.001-0.1 pfs-days的算力水平。这个时期的数据说明，减少数据并行化的返回值带来的收益会递减，这意味着更大规模的模型训练带来的价值是有限的。
2016年-2017年：出现可以实现更大规模算法并行化的方法（如较大的批量规模、架构搜索和专家迭代）以及使用专用硬件（如tpu和更快速的网络连接），极大地突破了算力的限制，尤其是对某些模型来说。
alphago zero和alphazero是大家熟悉的大型算法并行化例子，而很多其他同等规模的应用现在在算法层面上也是可行的，而且也可能已经投入了应用。
很多创业公司都在开发ai专用的芯片，一些企业声称他们将在接下来一两年大幅提高芯片的算力。这样一来，人们就可以仅仅通过重新配置硬件，以更少的经济成本得到强大的算力。而在并行性方面，很多近期出现的新算法在原则上也可以结合，例如，架构搜索和大规模并行sgd。http://weiyoudu01.51dzw.com
另一方面，并行化算法的发展会被经济成本限制，而芯片效率的发展将会被物理上的局限所限制。openai认为，虽然如今最大规模的ai模型训练使用的硬件，仅单个硬件就要花费百万美元的采购成本（尽管摊销下来，成本已经低了很多）。但今天的神经网络计算的主体部分仍然在于推理阶段，而不是模型训练阶段，这意味着企业可以重新改装或采购更多的芯片用于模型训练。
因此，如果有足够的经济基础，我们甚至可以看到更多的大规模并行训练，从而使这一趋势持续数年。全世界的总体硬件预算是每年1万亿美元，可以看到，经济成本对并行化算法的发展限制仍然远未达到。
openai认为，对于这种趋势将持续多久，以及持续下去会发生什么，用过去的趋势来预测是不足够的。
但是，即使算力增长的潜力目前处于我们可以掌控的范围，也必须从今天就为研发远超当前算力的全新系统做好准备，并开始警觉ai的安全问题和恶意使用问题。
这种远见对于负责任的政策制定和负责任的技术发展都至关重要，我们必须走在这些趋势前面，而不是对这些趋势置之不理。http://weiyoudu01.51dzw.com
来源：智东西
- 51电子网公益库存:
- VCA810ID
- H12104DNG
- D12332VFC25V
- B0505S-3WR2
- F1H16TP
- P25NM60N
- S-1110A
- YFF21SC1H102M
- Z85C3008VEC
- 6125TD4-R
- 93AA66AT-I/OT
- 0437005.WR
- 30ETH06PBF
- QED123
- T62M0001A-D
硬件算力的提升一直是ai快速发展的重要因素。因此，openai表示，如果我们希望目前的发展趋势持续下去，我们就需要为研发远超当前算力的全新系统做好准备。
openai是2015年成立的ai非营利组织，由以埃隆·马斯克为首的诸多硅谷大亨联合建立，致力于推动ai发挥积极作用、避免ai带来的问题。
推动ai发展的动力有三个：算法、数据、算力。算法是否有创新发展难以量化跟踪，而数据的巨大体量也难以计算，但算力是可以量化的，这为我们探究ai的发展进程提供了机会。
openai认为，虽然使用大量的算力暴露出了当前ai算法不够高效的问题，但是，重要的技术突破依然必须在足够的算力基础上才能实现。所以，从算力的角度来审视ai的发展是合理的。
在算力的分析中，openai认为起决定作用的数字并不是单个cpu的速度，也不是数据中心的最大容量，而是用于训练单个模型所需的算力——这一数值最有可能代表当前最佳算法的强大程度。
以模型计的算力需求与总算力有很大不同，因为并行计算的限制（硬件和算法上）使得模型不可能太大，训练的效率也不会太高。
openai发现，目前，算力发展的趋势是每年大约增加10倍。这种增长的实现，部分是因为有更为专业的硬件（如gpu和tpu）使得芯片每秒能够执行更多操作，但主要还是因为有研究人员们不断寻找更好的并行计算方法，并花费大量资金才实现的。http://weiyoudu01.51dzw.com
这份分析报告中，openai使用petaflop/s-day（pfs-day）作为算力的计量单位。一个单位的petaflop/s-day（pfs-day）代表在一天时间内每秒执行10^15 次，总计约为10^20次神经网络操作（operations）。这种计量方法类似于电能的千瓦时。
openai不测量硬件flops数的理论峰值，而是尝试估计执行的实际操作数量。openai将任何加法或乘法计为单个操作，而不考虑数值精度，同时忽略集成模型。
openai在分析报告中给出了两张图表，展示了最为人熟知的几个ai机器学习模型以petaflop/s-days计的计算总量，即其所需的算力。
2014年-2016年：普遍使用10-100个速度为5-10 tflops的gpu进行大规模的模型训练，可达到0.001-0.1 pfs-days的算力水平。这个时期的数据说明，减少数据并行化的返回值带来的收益会递减，这意味着更大规模的模型训练带来的价值是有限的。
2016年-2017年：出现可以实现更大规模算法并行化的方法（如较大的批量规模、架构搜索和专家迭代）以及使用专用硬件（如tpu和更快速的网络连接），极大地突破了算力的限制，尤其是对某些模型来说。
alphago zero和alphazero是大家熟悉的大型算法并行化例子，而很多其他同等规模的应用现在在算法层面上也是可行的，而且也可能已经投入了应用。
很多创业公司都在开发ai专用的芯片，一些企业声称他们将在接下来一两年大幅提高芯片的算力。这样一来，人们就可以仅仅通过重新配置硬件，以更少的经济成本得到强大的算力。而在并行性方面，很多近期出现的新算法在原则上也可以结合，例如，架构搜索和大规模并行sgd。http://weiyoudu01.51dzw.com
另一方面，并行化算法的发展会被经济成本限制，而芯片效率的发展将会被物理上的局限所限制。openai认为，虽然如今最大规模的ai模型训练使用的硬件，仅单个硬件就要花费百万美元的采购成本（尽管摊销下来，成本已经低了很多）。但今天的神经网络计算的主体部分仍然在于推理阶段，而不是模型训练阶段，这意味着企业可以重新改装或采购更多的芯片用于模型训练。
因此，如果有足够的经济基础，我们甚至可以看到更多的大规模并行训练，从而使这一趋势持续数年。全世界的总体硬件预算是每年1万亿美元，可以看到，经济成本对并行化算法的发展限制仍然远未达到。
openai认为，对于这种趋势将持续多久，以及持续下去会发生什么，用过去的趋势来预测是不足够的。
但是，即使算力增长的潜力目前处于我们可以掌控的范围，也必须从今天就为研发远超当前算力的全新系统做好准备，并开始警觉ai的安全问题和恶意使用问题。
这种远见对于负责任的政策制定和负责任的技术发展都至关重要，我们必须走在这些趋势前面，而不是对这些趋势置之不理。http://weiyoudu01.51dzw.com
来源：智东西
相关电子资讯- 06-24ALS模拟环境光传感芯片（Ambient Light Sensor）
- 06-24全新酷睿Ultra系列移动处理器
- 06-24新品MCV 1,5/3-G-3,81应用信息解读
- 06-24低功率电源信号线传感器介绍
- 06-24紧凑型连接器芯片引脚封装
- 06-24电子连接器优特点参数原理
- 06-24芯片MVSTBR 2,5/ 6-ST-5,08综述
- 06-24雷达测速仪简析
- 06-24电流传感器和互感器优特点及区别
- 06-24三极管技术结构应用设计
- 06-24拉线位移传感器参数规格简介
- 06-24DC-DC升压电路和DC-DC升压模块应用区别
热门点击
- 超级电容与电解电容的最大区别
- 低电压休眠模式和VBAT的应用
- 指标驱动型的市场情报
- 硬件到内容盈利模式的转变
- 中国芯正在不断发展
- 全球领先芯片制造商竞抢EUV
- 中兴的核心技术部件
- 控制变频空调的芯片
- 充电控制回路
- 5G通讯标准展开了讨论与投票
推荐电子资讯
- 最差劲科技合作品盘点
- 最差劲的科技合作品。 LG普拉达： 看到这个不得... [详细]
公网安备44030402000607
