猪脸识别、自动投喂！Apache DolphinScheduler还能做这些？
数字化转型提速中！传统农牧食品行业也寻求搭上数字化转型的快车，通过物联网、大数据、人工智能等现代信息技术，实现生产、加工、流通等环节的智能化和自动化，提高生产效率、优化资源配置、提升产品质量，并满足消费者对食品安全和可追溯性的需求。
在数字化浪潮的推动下，铁骑力士集团作为一家历史悠久的农牧食品企业，正通过引入先进的调度平台——Apache DolphinScheduler，实现其数字化转型的宏伟蓝图。
本期嘉宾介绍
李贤利，铁骑力士集团的IT架构师，拥有电子与通信工程专业背景，自2014年毕业以来，积累了丰富的行业经验。在广电和军工行业深耕7年后，他将专业视野拓展至农牧养殖食品领域，至今已在铁骑力士集团服务3年。李贤利在分布式系统建设方面尤为擅长，并积极投身于大数据应用、计算机视觉以及大模型落地探索等前沿技术研究。
铁骑力士集团概览
铁骑力士集团自1992年成立以来，已发展成为一个拥有150家分子公司的产业集群，涵盖饲料、牧业、食品和生物工程四大领域。集团以全程可控溯源的产业链，确保食品安全，推动现代农业的健康发展。
DolphinScheduler的引入
在铁骑力士集团的数字化转型过程中，近万人的集团业务，30多套业务系统需要依靠数字化中心的技术人员作为IT信息支撑，我所在的技术开发部门感到压力巨大。Apache DolphinScheduler的引入是一个关键的里程碑，它不仅支持了集团在饲料事业部、生猪事业部等多个部门，还促进了数字化中心与大数据部的协同工作。
数字化转型中的调度平台
2020年，铁骑力士集团启动了数字化转型变革项目，投入1亿+资金，设立了研发、营销、供应链、财务、人力资源等五大领域，围绕着这五大领域共建设了30多套IT系统。通过建设30多套IT系统，集团实现了业务流程的自动化和智能化。这些系统包括但不限于PLM、QMS、TDB、TBI、ECI等业务，涉及到的调度包括Quartz、Elastic-Job、Xxl-job、Oozie，使用的开发语言包括Delphi、C++、C#、Java和Python等。
这让我思考，是否可以做一个统一的大数据调度平台，统一调度与语言？恰好这时大数据部门的领导推荐了Apache DolphinScheduler。
底座规划中的调度平台
响应四川省数字化转型的号召，集团的数字化转型已进行一年多，为传统企业数字化转型“打样板”，做支撑。为此，集团进行了数字化平台底座规划。
在底座规划中，集团计划将Apache DolphinScheduler作为统一的调度平台。
应用案例
2023年，集团正式使用Apache DolphinScheduler，我的使用感受是界面清爽，一目了然，数据源与集团采购系统较为匹配，组件也比较丰富。
IOT设备数据采集与应用
在IOT设备数据采集方面，铁骑力士集团期望利用Apache DolphinScheduler实现了对猪（鸡）舍和屠宰车间环境的实时监控与数据采集，包括温度、湿度、光照度、制冷度、氨气与硫化氢浓度等关键指标，上传到数据资产管理平台，经过对数据的调度，最终在禽畜养殖管理平台展现出来。
通过调度事件，我们希望实现定时喂养、自动投料与喂水等自动化操作，并利用猪脸识别技术监控生猪动态，屠宰车间制冷控制，提高养殖效率。
在我们的构想中，我们希望建成一个禽畜养殖调度管理平台，由总调度平台采集集团所有养殖基地的数据，并形成温度、湿度、光照度、制冷度等的可视化调度管理。
主数据归一化管理
在主数据管理方面，铁骑力士集团通过Apache DolphinScheduler的SQL组件，实现了经销商、供应商、产品物料和人员组织等数据的归一化管理。这一举措不仅提高了数据的一致性和可用性，也为数据驱动的决策提供了坚实的基础。
大数据部门主要使用了Apache DolphinScheduler的DataX和Sqoop组件。
由于系统比较多，数据同步过来之后需要及时进行数据校验，比如唯一单据的校验。
电商情报数据应用
电商情报数据的应用是铁骑力士集团数字化转型的另一亮点。通过Python和Java组件，集团能够高效处理来自不同商超平台的数据，实现数据的快速分析和应用。
级联组件的创新应用
在业务流程自动化方面，铁骑力士集团希望通过Apache DolphinScheduler的级联组件，实现业务场景的创新应用。例如，通过调度平台整合EAA系统与集团的各系统数据，实现从发票/完税证明到报销/收付款的全流程自动化。
有了上面的构想，我们提出了三个方案：
方案1：SQL+PYTHON+HTTP组件，这个方案的优点是可以实现解耦，但SQL组件的列表数据无法传输到下一个组件；
；
方案2：JAVA/PYTHON组件，这个方式实现起来简单，但每个接口都需要写代码；
方案3： HTTP组件，这个方案需要统一调度平台，可以写一个http接口去驱动源系统向目标系统发出请求，但仅仅是换了调度平台。
在实践过程中，我们发现在使用Apache DolphinSchedulers时遇到了一些技术挑战。
遇到的挑战与解决方案
例如SQL组件的列表数据无法传输到下一个组件的问题。官方文档显示Apache DolphinScheduler支持SQL和Python参数传递，但在实际应用中，我们发现LIST数据类型是不可传递的。为了解决这个问题，团队只能使用http的方式开发接口，把源数据同步到数据管理平台。
对开源社区的展望
虽然由于时间紧急，我曾搁浅了改造源码已实现对LIST数据类型的支持，但考虑到Apache DolphinScheduler未来在集团数字化转型战略中的重要作用，我还是提倡积极参与到Apache DolphinScheduler开源社区中，并且有一些建议给到社区。
据我观察，在农牧行业中，组件之间进行数据传输的应用场景广泛，像铁骑力士这样的大型传统农牧企业，其实技术人员数量不多，大部分系统为外部采购二开，开发能力相对较弱，希望可以有像白鲸开源这样的企业能够提供专业的服务。
另外，从开发层面，希望开源社区能够补齐数据传输管道的场景，有一个过滤器可以过滤掉所需的数据，存储到具体的业务系统中。
当然，我鼓励更多的开发者加入Apache DolphinScheduler社区，共同推动调度平台的发展和创新。
结语
随着数字化转型的不断深入，铁骑力士集团将继续探索和实践新技术，以实现更高效、更智能的企业运营。Apache DolphinScheduler作为集团数字化转型的重要工具，将继续在这一过程中发挥关键作用。
本文由 白鲸开源 提供发布支持！