Does entry-level data scientist position even exist?

Day 2: Refreshing SQL

May 5, 2018

Get the big picture, determine scope, define success, find resources Big picture: know daily SQL queries, how to use them, what are the tricks and how to optimize them. Scope: 80% most freqent SQL usage. Success: Finish the online quiz on Hackerrank on SQL. Resources: SQL in 10 Minutes, Sams Teach Yourself (4th Edition) by Ben Forta Get started Database vs. Table vs. Column: Container vs. structured file for some specific character vs.

15 Days for reviewing data science

May 5, 2018

As a graduating student in Data Science without much experience in that field, I want to write something for people with similiar background on how to review data science and get ready for interview. Here is my methodology adapted from the book Soft Skills: The Software Developer’s Life Manual. Before we started, it is very important to know yourself in the data science field: what is your current stage, what kind of applicant you want to be, and what is your strength and weakness?

Reading Notes on the book Soft Skills

Apr 4, 2018

前言在之前的Blog中提到，我正在听Soft Skills这本书的有声读物。在上周末的时候我听完了全文，准备在此好好着墨，总结一下这本书的takeaway。这本书分成了7个sections，我的读书笔记也会按照这7个sections进行总结。 Chapter 1: Career Chapter 2: Marketing yourself Chapter 3: Learning 在这一章里面，最重要的就是作者提出的10-step process。作者认为，通读一本书在学习层面上效率并不是很高，一本书更适合作为reference而不是用来实际学习。当我们准备学习一项新技术的时候，首先我们需要回答这三个问题：如何开始学习？哪些是我需要知道的最基础的东西，可以立刻上手？研究问题的深度：我学习的东西有多大，我可以如何利用？我不一定需要知道所有的细节然后再开始，但是如果我有一个好的overview在我能做什么和我可以做什么，我可以随后再关注细节。基本环节：在开始之前，哪些是最基础的use cases，哪些是最常见的事情？哪些是最重要的20%我可以学习到的，能够cover 80%的日常使用？回答完这些问题之后就是作者提出的10-step system. Step 1. Get the big picture Step 2: Determine scope Step 3: Define success Step 4: Find resources Step 5: Create a learning plan Step 6: Filter resources 以上的六步是一次性的，在学习某个topic的时候只用做一次。下面的四步是需要在module里面不断重复不断迭代，在过程中慢慢提高。 Step 7: Learn enough to get started Step 8: Play around Step 9: Learn enough to do something useful Step 10: Teach 以上的四步是在每一个module都要重复一遍，通过学习，实践，继续学习和去教授完成整个学习过程，从而不光知其然，也能知其所以然。这一点在我之前统计的学习中领悟的十分深刻：从大二开始，我在Oberlin担任了两年半的Introduction to Statistics的grader和tutor，帮助过Kevin, Bob等人。在判作业的过程中自己的基础知识也不断的巩固，而且能够更加清楚的了解学生们的问题出在哪里。有些时候我发现教授在回答问题的时候不能很好的领会学生的问题，我认为教授很难把自己代入到学生的角度上，用学生的思维去考虑问题出在哪里。担任tutor的时候，我教了不少non-math major的学生，他们的思维方式和学理科的人的思维方式存在很大的不同。我也是摸索了很久才找到如何能够让他们理解统计学的一些基本概念，比如用他们熟悉了解的事情去解答。之前自己曾经教过一个篮球队的大中锋如何理解mean和median之间的不同。我用NBA的数据举例：NBA里面有很多巨星，他们可能每场球都能得到20分，30分甚至更多，但是大部分球员每场球可能只能得7，8分。

An annoying bug in the Hugo tranquilpeak theme

Apr 4, 2018

I started this blog last September, and I haven’t used it until this January. I began to write some articles this April regularly, so I was not entirely familiar with blogging, and it seems that no so many people know and visit this blog. Earlier today, when I tried to click on the tags under the article, I found that there is a bug corresponding it that it uses two backslashes instead of one.

Visualization tools for network analysis

Apr 4, 2018

In my recent project, there is a need to create some visualization for the relationship between bank accounts. One bank account could serve as an intermediate account to receive money from its child account, and transfer the surplus to its head account. I want to find out the relationship between accounts and do some further analysis, so I searched online to find some visualization tools for network analysis, and here are some tools I try.

Altcoin for Dummies

Apr 4, 2018

前言 2018年区块链继续蓬勃发展，而大多数人的理解也从”区块链等于比特币”转变，开始理解区块链的真正含义和作用。之前在网上找到了许多如何创建自己的区块链的文章，不过大多数都已经过时了。2018年该如何从头建立自己的区块链呢？请听我一一道来。了解区块链傻瓜篇：一站式建立区块链基础篇：如何从头建立区块链高级篇：分析比特币源代码建立自己的区块链

Exploratory Data Analysis on the Yahoo Dating dataset

Apr 4, 2018

1 Abstract 2 Introduction 3 Preliminary Analysis of Data Quality 3.1 Missing Patterns Analysis 3.2 Outlier Analysis 4 Executive Summary 5 Main Analysis 5.1 Analysis on Speaking Languages 5.2 Analysis on Ethnicity 5.3 Analysis on Body Type 6 Summary, Limitation and Further Direction Reference 1 Abstract This exploratory data analysis firstly provides a preliminary analysis of the data quality of the Yahoo Dating dataset. An executive summary is followed to explain the most important findings in this study.

STEM is the future

Apr 4, 2018

I received my Nintendo Labo 01: variety kit this afternoon, and I immediately went through it. There are three parts: Make, Play and Discover. You need to fold and formulate different items, like RC car, fishing rod, and piano. Each piece will take you a while to finish it. Larger and more complicated piece will take longer time: the toy-con piano will take up to 210 minutes to complete that, so you need to prepare for that.

About Audiobook

Apr 4, 2018

最开始接触到有声读物的概念还是经过苹果。当年在用iPhone 3G时看到Music这个App里面赫然写着Audiobook，当时还在纳闷这难道就是传说中的听书？自己也没有怎么太在意。等到家里买了iPad 2的时候还从一个历史很悠久的网站威锋网上下载了不少电子书，其中也有一些有声读物。找出那个尘封多年的iPad，还能看见里面存在的4本电子书，其中还包括乔帮主的那本自传。第一次听有声读物的时候自己正襟危坐，带着耳机专心致志的听着一本小说，然而自己没过多久就失去了兴趣，从此暂时告别了有声读物。等到自己大二自己将手机换成三星Galaxy S5的时候，当时误打误撞不光激活了国内的三星特惠，等来到美国了之后也激活了美国的三星特惠，其中就包括了Audible的free membership。现在想想其实这个所谓的特惠对于用户和商家来说简直是双丰收，用户可以获得一些实惠，而商家则是通过这种方式降低了用户的获取成本。在免费下载了3本有声读物之后自己忘记及时取消业务，当时也就没有特别在意这件事情，以至于最后连续charge 了若干个15刀，账户里也积攒了若干free credit。这些free credit最后被我用来换取了哈利波特全集的有声读物，也算是为年少时候看的盗版买单了。除了这些最后买到的哈利波特之外，自己认真听的电子书包括了火星救援(The Martian)，这本书当时自己是真真切切的从头听到尾，也为自己补齐了电影中的一些谜团。大致来讲，小说是比较适合作为有声读物的，因为小说的情节和剧情相对来说更多是偏向线性描述，而且注重情感表达。听者可以比较轻松的抓住其主要脉络，即使有些遗忘也可以在故事发展的过程中逐渐回忆起来。另外自己当时为了Econ Seminar做准备，购买了Required Reading中的Regulating Wall Street。这本书自己听了将近一半，最后放弃改读纸质书了。放弃读下去的原因之一就是这本书的逻辑性非常强，而且每个章节又很长。这就导致如果将一个章节分成多次听完的话，其前后逻辑会忘了大半，也搞不清楚作者的真正意图了。另外一本自己听过的书Thinking, Fast and Slow也是如此。至此之后，自己就cancel了Audible的subscription，也没有将书库里面宏伟的哈利波特八部曲听完。时间过的很快，一转眼就是2017年底了。年底的时候自己突然看见了Audible的限时促销：prime member可以申请2个月的free trial。自己又回想起当时听有声读物的时光，于是再次注册并下载了两本书。这个时候自己选择了一本名为Soft Skills: The Software Developer’s Life Manual的书，结果这本书作为有声读物竟然是出乎意料的好。首先，这本书是由原书作者亲自朗读的，而作者对这本书肯定是最熟悉的那个人。因此，这本有声读物的朗读质量非常高，能够感受到朗读人是非常了解材料，而且对于内容充满了热情，想要把知识传授给听众。大多数的有声读物都是由专业的朗诵者完成的，尽管他们可能在朗诵技巧，语音语调上占据绝对优势，我总是会感觉他们的朗诵相比来说稍微缺乏一些自身的情感。可能他们收到的训练就是将内容原汁原味的讲述，避免带入过多的个人情感因素，不过我还是希望能够听到有着丰富情感的朗读。其次，这本书的章节分割的恰到好处。全书共有88个chapter，分为7个板块。每个chapter在10分钟上下，包括了overview, landmine和tacking action。Overview包括了对于这个section关注的topic的介绍以及一些背景知识。Landmine包括了作者提出的一个非常常见的问题，以及如何去解决这些困难。例如在Chapter 33番茄时钟方法中，landmine就是：我在办公室工作，而且我不能够在这个环境下全身心的集中注意力。作者提出的解决方案包括先跟领导和同事打好招呼，告诉他们我正在训练自己的注意力，这样做可以提升自己的生产力，对于整个团队都会有好处。此外，我肯定会在25分钟以内，也就是一个番茄时钟完成的时间内回应提出的要求。这样听起来很奇怪，但是如果你能够正确表达的话，你的同事和老板很有可能会支持你的行动!而最后的taking action则是包括了一些切实可行的行动计划。作者将每个chapter分割成这样的结构有助于听众理解，并且采取相应的行动。这本书非常适合科技工作者（任何写程序的人），你都会获得很大启发！另外，什么时候适合听有声读物呢？我自己是习惯于在做非脑力劳动的时候听有声读物。一方面来说，听有声读物是脑力劳动，不适合跟其它脑力劳动一起进行。另一方面来说，如果仅仅是听有声读物的话，你会感觉无事可做。我个人习惯在收拾房间，刷碗和锻炼的时候听有声读物，既可以将脑力完全放在有声读物上，也不会觉得浪费时间。最近新到手了索尼的降噪豆，我发现这是一个绝佳的听有声读物的耳机。它是真无线设计，不用担心有任何耳机线的束缚，而且它还有降噪效果，无论是坐地铁还是在家都有绝佳的沉浸式体验。而它的主要缺点高延迟在听有声读物的时候影响微乎其微。相比于头戴式的蓝牙耳机，降噪豆束缚更小，携带方便而且还附带降噪效果，个人强力推荐！这本书我自己已经听完了将近一半，相信在听完了之后还会有一些新的感受，到时候再跟大家分享。