面向数据科学与新一代人工智能的 K8S

数据科学家和软件工程师有许多相同的关注点:可重复的实验(比如可重复的构建);可移植和可复制的环境(如在开发、过渡和生产环境中具有相同的设置);凭证管理;跟踪和监控生产环境中的指标;灵活的路由;轻松扩展。不难看出,应用程序开发人员使用 Kubernetes 所做的事情与数据科学家可能想做的事之间有一些类似之处:

  • 可重复的批处理作业,如 CI/CD 管道,类似于机器学习管道,多个协同阶段在其中以可重复的方式一起处理数据、提取特征、训练、测试和部署模型;
  • 描述服务之间连接的声明性配置有助于创建跨平台的可重复学习管道和模型;
  • 微服务架构支持在管道中对机器学习模型进行简单地调试,并[……]

    继续阅读

容器系统架构组件选型库

大规模的容器技术运用从来不是一项独立工程,而是一个汇集虚拟化技术、容器编排、任务调度、操作系统、容器仓库、跨节点网络、分布式存储、动态扩缩、负载均衡、日志监控、故障自恢复等系统性难题的复杂有机体。随着 Docker 的诞生和 Google 等互联网公司的推波助澜,这个领域出现了一大批优秀的开源项目,它们在简化容器技术使用成本的同时,也经常使得刚刚接触容器时间不太长的开发者和企业用户感到不知所措。

将知识分类是梳理零散信息的一种有效方式。对于容器技术的生态圈来说,其中涉及领域众多,有的项目横跨多个细分领域,有的项目则是针对特定场景需求定制的,难以对其功能类型做精确定义。不过,若仅考虑通用领[……]

继续阅读

Google 开源 Java 容器化工具

Google 云平台官方博客发布了新的开源工具 Jib,一款快速而简单的容器镜像构建工具,能使容器技术和 Java 编程语言更加无缝地协同工作,使 Java 开发人员能更轻松地跨用例部署和控制 Java 应用程序。

容器技术使得 Java 人员比以往都更接近『一次编写,随处运行』的工作流程,但要容器化 Java 应用程序却不是一件简单的事:你必须编写 Docker file,以 root 身份运行 Docker 守护程序,等待构建完成,最后将图像推送到远程注册表。并非所有 Java 开发人员都是容器专家;容器化 Java 应用程序,并不是建一个 JAR 包那么简单。Docker 构建流程[……]

继续阅读

Docker如何提升数据科学与深度学习科研效率?

跨象乘云™融能平台,是基于容器架构的深度学习与新一代人工智能科研教学一体化实验平台,满足多个科研项目、云服务层、系统框架、以及科研与教学环境之间所需要的集群管理,调度与隔离需求。通过统一的可视化基础架构管理界面,提升数据科学与深度学习科研工作效率。

今天,以 Docker 为代表的容器技术逐步取代虚拟主机,成为云计算架构下的基本业务单位。几乎所有软件工程师都在使用容器来开发,测试,部署新的应用程序 —— 不单是因为容器具有更全面的开源生态系统;同时,卸载掉底层操作系统,大幅度降低容器镜像的体积,相对于虚拟主机而言,容器变得更适合在互联网实现发布。如 Docker Hub 等公共容器云服务[……]

继续阅读