平台简介
Kaggle是由联合创始人、首席执行官 安东尼·高德布卢姆(Anthony Goldbloom)2010年 在墨尔本创立的,主要为开发商和数据科学家提供举办机器学习竞赛、托管数据库、编写和分享代码的平台。该平台已经吸引了80万名数据科学家的关注,这些用户资源或许正是吸引谷歌的主要因素。
通俗的说,Kaggle上面有着各种高质量的数据集,并且基于这些数据集会有一些大的公司进行赞助,来举办一些算法的竞赛,在竞赛时还可通过社区进行讨论(包括比赛中的分享、答疑,和比赛后的top solution分享)。这样就使得全球的顶尖高手会对参加比赛产生兴趣,因为收获到的不仅有奖金还有名气。同时kaggle对萌新也很友好,在社区中可以学到很多的知识和解决方案(top solution)。
比赛介绍
kaggle 网站是纯英文的,我们可以把比赛分为2类:
竞赛competitions:竞赛的目的很简单,就是要求在指定时间内(一般是2-3个月)使用出题方的数据完成指定的任务,如果有幸赢得比赛,不但可以获得奖金,模型也可能会被竞赛赞助商应用到商业实践中、获奖者直接进入赞助企业工作或者获得一些重大会议邀请、发表论文等
数据集datasets:数据集是赞助商为了解决某些问题,免费公开了自己的内部的一些脱敏的数据,所有人都可以使用这些数据集进行研究,来改进现有的模型或者优化现有问题的解决方案,但是这些模型或解决方案可以不公开,所以这部分是不提供奖金的,只是能够与别人的方案做对比。
开发环境
支持 python 和 R 编程语言
提供 notebook 和 script 两种开发环境,超过1小时没有操作,会关闭环境
计算
提交并运行,最多可获得 9小时执行时间(如果不提交并运算,超过1小时没有操作,会关闭环境)
5 GB自动保存的磁盘空间(/ kaggle /正在运行)
无法在当前会话之外保存的其他暂存磁盘空间(/ kaggle / working之外)
更多信息参见:
https://www.kaggle.com/docs/notebooks
CPU规格
4个CPU核心
16 GB的RAM
GPU规格
NVIDIA TESLA P100 GPU
2个CPU核心
13 GB的RAM
每周最多可以使用30个小时的GPU
关闭窗口之前,请停止交互式会话。否则交互式会话将保持活动状态,直到达到60分钟的空闲超时限制
更多GPU使用技巧参见:
https://www.kaggle.com/docs/efficient-gpu-usage
TPU
TPU是专门用于深度学习任务的硬件加速器。Tensorflow 2.1通过Keras高级API以及较低级别的使用自定义训练循环的模型都支持它们。
每个星期最多可以使用30个小时的TPU,一次最多可以使用3个小时