PHP的数据采集，大家都不陌生，有很多方式方法，比如RSS，API等，对于 API来说，有很多是直接调用，比如说淘宝网站数据，根本没有必要再重新入库，直接调用就可以，这样还节省了很多的资源，有的会在速度上产生瓶颈，最多是把数据文章放在本地，然后再调用。
然而类似淘宝的这种API数据，只是单API，如果是多API数据调用，就必须要入库，然后还要进行系列的工作，比如说一些团购网站的API数据，就必须要入库，然后还要进行很多的统一处理。这样的话，API就不仅仅是一个接口的问题，就成了数据源。
在采集的方式上可以是手动也可以是自动，不知道为什么，国内的很多程序都喜欢是手动，国外的多数都是自动，通过触发和计划任务来实现。可是，多API的采集不同于单API数据采集，原因有两点，一是API的切换，另一个是数据的统一处理。可以看下面的UML
?从上面的流程可以看出，最关键的地方，是数据的统一，和API的调度切换最关键，尤其是在API的调试和切换上，不能用循环，因为，不知道一个API的数据量是多少，所以还是要用跳转的方法首先要把一骨干数据结构采集入库，然后再进行跳转采集，不过，这样的话，我没有试过计划任务是否能行，手动采集是绝没问题。
自由转载，转载请注明： 转载自WEB开发笔记 www.chhua.com
本文链接地址: PHP的多API数据采集 http://www.chhua.com/web-note2657
评论