开源教程 「NLP-Tutorial」

这个项目并不复杂,但却包含了基本的嵌入式表征模型、CNN、RNN、注意力模型、Transformer 等的 13 个重要模型的核心代码实现。整体而言,基本所有代码都是作者自己完成的,当然都会借鉴已有的实现。很多模型都同时有 TensorFlow 和 PyTorch 两种版本,但像 Transformer 和 BERT 等拥有谷歌官方实现的模型,作者只提供了 PyTorch 实现。据作者介绍,随后他计划将添加 Keras 版本的实现。

引入瞩目的是,这个项目中几乎所有模型的代码实现长度都在 100 行左右(除了注释和空行外),很多预处理、模型持久化和可视化等操作都被简化或删除了。因此精简后[……]

继续阅读

轻量级机器学习模型训练评估指标可视化工具

Model Log 是一款基于 Python3 的轻量级机器学习(Machine Learning)、深度学习(Deep Learning)模型训练评估指标可视化工具,与 TensorFlow、Pytorch、PaddlePaddle结合使用,可以记录模型训练过程当中的超参数、Loss、Accuracy、Precision、F1值等,并以曲线图的形式进行展现对比,轻松三步即可实现。可以通过调节超参数的方式多次训练模型,并使用 Model Log 工具进行记录,可以很直观的进行模型对比,堪称调参神器。以下是使用工具后模型训练时 Loss 的变化曲线图。

GitHub地址项目 GitHub 地址[……]

继续阅读

强化学习入门库

这是一个入门的深度强化学习库,是中科院深圳先进院的一位同学独立完成的,拥有全中文的文档:

  • 轻量:仅含3个Python文件,仅需安装 PyTorch 和 GYM
  • 稳定:尽可能减少超参数。绝不通过微调超参数得到虚高的性能
  • 高效:循环内的代码注重效率,动态规划地编写计算流程
  • 可读:我喜欢Python之父的Python之禅 import this,尽力保持代码优雅
  • 易用:尽力降低代码耦合度,方便复制某段

目前,单智能体-无模型-深度-强化学习算法部分已经完成(多智能体、离散空间代码业已完成,有时间将整理上传):

  • 离线策略,确定策略梯度:DDPG,TD3[……]

    继续阅读

深度学习语义分割理论与实战指南

图像分类、目标检测和图像分割是基于深度学习的计算机视觉三大核心任务。三大任务之间明显存在着一种递进的层级关系,图像分类聚焦于整张图像,目标检测定位于图像具体区域,而图像分割则是细化到每一个像素。基于深度学习的图像分割具体包括语义分割、实例分割和全景分割。语义分割的目的是要给每个像素赋予一个语义标签。语义分割在自动驾驶、场景解析、卫星遥感图像和医学影像等领域都有着广泛的应用前景。本文作为基于 PyTorch 的语义分割技术手册,对语义分割的基本技术框架、主要网络模型和技术方法提供一个实战性指导和参考。

GitHub地址项目 GitHub 地址[……]

继续阅读

一行代码比较 arXiv 论文版本差别

在计算机领域中,目前的预打印版网站 arxiv 可谓是撑起了前沿技术的一片天地,每天都有相当数量的论文上传。但是对于一篇文章,作者可能会上传 V1 / V2 / V3 等版本,对于我来说,我一般看最后的版本就行,但是有些同学想要看看这些版本直接到底有什么不同,这可怎么办,总不至于要花几个晚上时间研究不同的版本?

最近 Github 上的一个比较预印本论文版本差别的工具也许能帮到你,关键是只需一行代码就能实现。最近 Github 上的一个比较预印本论文版本差别的工具也许能帮到你,关键是只需一行代码就能实现。

GitHub地址项目 GitHub 地址[……]

继续阅读

一文看懂 Matplotlib 50 种经典数据可视化图表应用场景 (含代码)

本文总结了使用 Python 经典数据可视化库 Matplotlib 实现数据图表制作,重点是:这些图表是根据可视化目标的 7 个不同数据逻辑展示目的进行分组的,包括:相关性,偏差,排名,分布,组成,变化,分组。原文链接

一个有效的图表是:

  • 不歪曲事实,传达正确和必要的信息。
  • 设计简单,你不必为了得到它而紧张。
  • 美学支持信息,而不是掩盖它。
  • 没有过多的信息。

[……]

继续阅读

CMU 开源数学神器

很多人可能都觉得数学就是枯燥乏味又难学,一堆公式难以理解还记不住,如果这时候,有个神器可以一秒将这些困难的数学公式/表达式用可视化的方式表现出来,是不是会有助于加深印象,让学生对数学保持兴趣?

近日,CMU 推出了一个新系统 Penrose,该系统可以将复杂的数学符号转换为各种样式的简单图表。作为一种有效地传达复杂数学表达式和概念的可视化工具,Penrose 迅速地吸引了社交媒体的关注。

研究人员表示:在数学著作中发现图表相对较少,它们主要还是以公式和技术性语言为主,尽管高质量的可视化效果能够更有效的传达数学思想,但是当下能够生成此类图表的工具并不那么友好,这也是为何一般数[……]

继续阅读

Google AI 新闻开放课程

人工智能正在新闻编辑室里发挥着越来越重要的作用,但是不同新闻人对技术的了解却是良莠不齐。近日,Google 宣布与两大新闻组织:JournalismAI 与 VRT 新闻联合 Google 新闻计划合作制作了一门免费的 AI 新闻培训课程,并且正式发布了。

对于全球的新闻工作者和新闻机构来说,这是一个艰难的时刻,因为他们试图评估 COVID-19 对行业业务和编辑方面的影响。借助 JournalismAI,Google 表示,希望通过这些新技术发挥作用,帮助最小化成本并增加行业机会。[……]

继续阅读