美国大数据工程师面试攻略
项目数据分析师分享：美国大数据工程师面试攻略
方法/步骤
先做一个自我介绍，本科南开后，加入了一个创业公司kuxun，做实时信息检索，后来进入百度基础架构组，搭建了Baidu App Engine的早期版本，随后去Duke大学留学，在攻读硕士期间，做跟Hadoop大数据相关的研究项目Starfish，之后在Amazon EC2部门实习，了解它们的内部架构，毕业后加入Linkedin，做广告组的架构，涉及Hadoop调优，Data Pipeline, Offline/Online, 实时系统。最新是在Coursera从事数据工程师工作。在多年工作中，除了对技术的不懈追求，也积累了大量的面试经验，从国内的一线互联网百度，阿里巴巴，奇虎，人人，到美国一线公司Facebook，Google，Linkedin，Twitter，Amazon，到热门Startup，Uber，Pinterest，Airbnb，Box，Dropbox，Snapchat，Houzz，拿到10+ offer，并且在Linkedin期间也面试过100+候选人，参与面试题制定，乐于分享并帮助很多人成功求职，实现目标。
我们看一下这张硅谷地图，它坐落于美国加州，从圣何塞到旧金山的狭长地带，中间是San francisco bay，简称湾区。它的由来是这边有计算机核心处理器中离不开的硅，30年来，硅谷就发展成为无数技术性创业公司的摇篮。在20多年前，就有很多硬件公司的辉煌Intel，Oracle，Apple，Cisco成功上市，10年前，互联网的兴起，造就了Yahoo，Google，Ebay的神奇，而如今Tesla，Facebook，Twitter，Linkedin正扶摇直上，成为美股高科技股的领头羊。这些公司的市值从几十billion到几百billion，PE从负数到上千。疯狂的估值背后也改变了世界。
如果说硅谷成功是有原因的，我觉得有两点。地理位置是得天独厚吸引大量人才，这里有Stanford和加州州立高校提供智力库的支持，在硅谷可以看到来自全世界的最聪明的人，中国人，印度人，犹太人构成这些Engineer的主力。虽然国内做技术自嘲为码农，但在硅谷成为一个优秀工程师还是收获颇丰。另一方面创业是一个永恒的话题，在Stanford有个说法空气中都飘扬中创业的味道，一些早期员工通过上市套现又积累经验成了天使投资，Y Combinator，各种技术forum，meetup，创业导师，都很活跃。资本的力量功不可没，早年VC通过投资，收购，上市放大形成一个雪球效应。大家总喜欢问什么是next big thing，哪一个是下一个facebook，下一个musk，根据统计10年能成就一个千亿以上的公司，目前这个进程正在缩短。
我就拿Linkedin作为例子，介绍高科技公司（FLG）是什么样子。它是成立2003年的职业社交网站。在10年的发展中，也不是一下子爆发的，目前有3亿的全球用户，虽然跟Facebook，Google 10亿＋用户没法比，但是它有很好的护城河，用户定位高端精准，单位价值高。这张照片中左边这位是创始人Reid Hoffman，是Paypal黑帮成员，在硅谷也是呼风唤雨的大佬，目前是董事和投资人。中间这位是CEO Jeff，2013年被Glassdoor评为最佳CEO，作为职业经理人，成功帮助linkedin高速成长，他最喜欢提到transformation，希望我们每个员工能挑战自我，在各自岗位上进化。Linkedin提供了员工很好的福利，有号称湾区最佳的免费食堂，每个月一次的in day，hack day, 帮助员工内部创业的incumbator计划。它特点是数据驱动的开发产品，比如 People you may know, Job you may be interested, 我做过Sponroed Ads 都是需要很强数据背景和data scientist的支持。它的Biz model也很独特，有3个line，面向公司的招聘服务，面向广告商的市场服务，面向个人的订阅服务，还有最新Sales Solution，因为这么多可能性，成为华尔街的宠儿。
说硅谷，除了那些已经成功的大公司，不得不说现在最新的创业动向，这些代表了未来下一个FLG。我总结了一些领域和代表公司：云计算(box, dropbox)，大数据(cloudera)，消费互联网(pinterest)，健康(fitbit)，通讯(snapchat)，支付(square)，生活(uber)。 这里是华尔街网站更新的最新融资规模，比如Uber就达到18Billion的估值，我当时拿到offer没去，还是觉得很疯狂，如果细看这张表，大家可以看到硅谷（蓝色）尤其是旧金山它们的融资规模远远大于其他地区，还是地理决定论。而在国内的两家xiaomi，jingdong都是在北京，而最近大家看到一些泡沫论，说什么阿里巴巴上市是否美股到顶，经纬VC创始人也提醒我们泡沫的风险，我无法判断。如果能参与到下一波浪潮里面去是很过瘾的。我推荐大家去看看 <浪潮之巅>，<奇点临近>，我还是很期待未来20年的技术革命。
我个人热爱大数据，在硅谷这也是大家津津乐道的，有个笑话，big data is like teenage talking about sex, nobody know how to do it. 其实大家还是兴趣驱动就好，不要那么功利，大数据技术涉及太多，平常工作中也是慢慢积累，有无数的坑和技术细节需要克服。并不是说那个技术最热就要用哪个，如果你用不好，你的压力很大的，举个例子，你用某个开源数据库，发现它偶尔有数据丢失怎么办，如果这是线上服务，你不断收到报警，这时候你当时选用它的优点 scalable，容错性都没意义了。接着说大数据，这里面Hadoop作为行业标准，我面过的除了Google，微软不用，几乎所有的公司都在用，建议大家利用这个机会。这里面有三巨头，cloudera是老牌Hadoop咨询公司，Hadoop的创始人做CTO，Hortonworks也是很多Hadoop的committee，MapR是提出hdfs的erasure 编码方式高效而著名，它们都是融了巨资，模式也很像，先推出社区免费版，但有个商业版提供更好的管理。 而今年出现一匹黑马，Spark，简单说就是内存级别的计算，比Hadoop框架里能节约IO，利用缓存，能适应批处理，迭代，流式计算。
这里看一下它的生态系统，如何学Hadoop是个循序渐进过程，先要理解学习它的core系统，HDFS, MapReduce, Common，在外围有无数的系统工具方便开发，我个人用过的是 Avro作为数据格式，Zookeeper作为选主的高可靠性的组件，Solr作为搜索接口，Pig搭建工作流，Hive 数据仓库查询，Oozie管理工作流，HBase 作为KV 分布式存储，mahout数据挖掘的库，Cassandra nosql 数据库。我建议初学的考虑Chinahadoop的课程。
而Hadoop本身也是个进化过程，几年前0.19版本，到0.20, 0.23分流成Yarn架构最后进化成Hadoop2.0, Hadoop1.0 和 2.0 它们的接口和组件是完全不同的，但总体上Hadoop 2.0 是趋势，因为它有Yarn这样分离的资源管理平台，可以以插件的方式开发上面的Application，解放了生产力，而像Spark，Storm这些新型处理器也是支持Hadoop 2.0的。这里是Hortonworks它们提出来的社区版本架构，可以说标准的制定者，一流的公司制定标准，其他的公司一般用只能用它们提供的稳定版，没有多少话语权。但从事大数据，并不见得是要去这些制定标准的公司，大量的应用也是非常考验架构的灵活性。并且能看到实际的产品，很有成就感。
说到今年火的，还是要看Spark。从去年至今，已经开了2届Spark大会，上千人的规模，无数人对比Hadoop 100倍的性能提升而兴奋。这里说它的背景是诞生于Berkeley的Amplab，它们有个很有名的BDAS(Berkeley Data Analytics Stack)，目前Spark已经成为Apache的顶级项目。去年这个实验室的教授跟学生出去成立Databricks公司，拉到两轮上千万的风投，有人成Spark是Hadoop的终结者吗？我看今年Spark大会上，所有的Hadoop大佬公司都是鼎力支持，像Cloudrea甚至放弃impala的一线支持而转变成Spark。如果这么发展下去，星星之火可以燎原啊。它里面用到Scala是一种函数式语言。里面的组件也很多，有Shark支持SQL类似Hive，有Spark Streaming，MLlib，Graphx，SparkR，BlinkDB。它的核心数据结构是RDD，可以跑在各种分布式系统上。总体上是个包容性＋侵略性的系统。我个人也很看好它们的发展。
系统集成工程师需要具备哪些技能
系统集成
需要的技能有： 1：网络 基础知识：深刻理解网络基本概念，例如ISO/OSI、TCP/IP、VLAN、各种LAN、WAN协议、各种路由协议、NAT等等 2：主机 基础知识：熟悉服务器的基本知识，例如各种RAID、各种外设、SCSI卡等等 3：数据库与
中间件
基础知识：深刻理解数据库的基本概念，会使用简单的SQL语句，了解数据库复制、
数据仓库
等高级概念 4：安全 基础知识：深刻理解网络安全的重要性，了解各种安全设备的作用 5：存储和备份 基础知识：了解存储的基本概念和主流厂商，了解磁带、DAS、NAS、SAN的基本概念 备份：深刻理解备份的重要作用，了解主流备份软件诸如ARC Server、NetBackup等软件的安装、配置和使用、熟悉主流数据库的备份方法和策略 6：音视频 视频会议：了解视频会议的基本概念、组成部分和协议，了解主流的视频终端和MCU，能够独立操作
泰德
的视频终端和Radvision的MCU 视频点播：了解视频点播和
流媒体
的基本概念、组成部分和协议，能够安装和配置视频点播所需要的软件（RealServer等）和硬件（视频采集卡等） VOIP：了解VOIP的的基本概念和应用，了解语音网关和语音关守，能够配置VoIP 组播：了解组播的基本概念和应用以及组播路由协议，能够配置简单的组播 ，各种音视频设备：了解各种音频、视频设备以及各种线缆。 7：应用 HTTP：FTP：Mail：DNS：和其他系统应用 公 8：弱电 了解综合布线、门禁、监控、智能建筑等基本概念，熟练制作各种网络线缆 9：其他专项技术 高可用性：理解高可用性的概念，能够安装配置IBM HACMP、Rose、Sun Cluster的安装、配置和维护 UPS：熟悉UPS的基础知识、自己能够独立安装小型UPS、熟悉各种电缆 电信：熟悉各种电信线路，了解电信的各种信令 WLAN：了解
无线局域网
的基本概念和组成部分 网络管理：了解网络管理的作用和网络管理协议（SNMP、RMON等），能够使用Cisco Ciscoworks、Nortel Optivity、HP OpenView等产品，能够用Sniffer等软件对网络进行监控和排错 10：项目管理 深刻理解项目管理中的基本概念，能用运用项目管理中的知识指导自己的项目
美国电子工程专业发展前景如何
美国电子工程专业就业方向非常广泛非常广泛，包括：互联网软硬件的研发；通讯协议及系统/网络的开发；集成电路及芯片开发：电脑主板、CPU或者显卡上的芯片的开发都属于这一类别；精密仪器设计开发人工智能及机器人研发：结合计算机科学和控制系统工程；新能源研发：光能和风能研发，新能源汽车、电池研发，以及能源转化率和能源利用率的提升研究等等，下面由我带大家详细了解美国电子工程专业发展前景如何。
美国电子工程专业发展前景如何
一、美国电子工程专业就业方向
EE专业就业方向非常广泛，包括：
互联网软硬件的研发
通讯协议及系统/网络的开发
集成电路及芯片开发：电脑主板、CPU或者显卡上的芯片的开发都属于这一类别；
精密仪器设计开发
人工智能及机器人研发：结合计算机科学和控制系统工程；
新能源研发：光能和风能研发，新能源汽车、电池研发，以及能源转化率和能源利用率的提升研究
电力方向：从事智能电网研究
根据全球最大招聘搜索引擎Indeed 平台公开发布的数据，电气工程专业相关从业者年薪大致在九万美金左右。如果从业者具有系统分析能力，拥有相关专业教育背景并获得学位，以及专业资格证如注册工程师PE，那么薪资将更加丰厚。
二、美国电子工程专业分支
通讯与网络（Telecommunications and Network）
计算机工程（Computer Engineering）
信号处理（Signal Processing）
系统控制（Control Systems/Control）
电子学（Electronics）
集成电路 （Integrated Circuit）
光子学与光学（Optics and Photonics）
电力技术 （Electric Power Technology）
微机电系统（Micro-Electro-Mechanical Systems）
电磁学（Electromagnetics）
三、美国电气与电子工程专业排名 TOP30
1 麻省理工学院 Massachusetts Institute of Technology
2 斯坦福大学 Stanford University
2 加州大学伯克利分校 University of California--Berkeley
4 加州理工学院 California Institute of Technology
4 伊利诺伊大学厄本那-香槟分校 University of Illinois--Urbana-Champaign
6 佐治亚理工学院 Georgia Institute of Technology
6 密歇根大学安娜堡分校 University of Michigan--Ann Arbor
8 卡耐基梅隆大学 Carnegie Mellon University
9 康奈尔大学 Cornell University
9 普林斯顿大学 Princeton University
9 德克萨斯大学奥斯汀分校 University of Texas--Austin （Cockrell）
12 普渡大学西拉法叶分校 Purdue University--West Lafayette
13 哥伦比亚大学 Columbia University （Fu Foundation）
13 加州大学洛杉矶分校 University of California--Los Angeles （Samueli）
13 加州大学圣地亚哥分校 University of California--San Diego （Jacobs）
16 马里兰大学学院公园分校 University of Maryland--College Park （Clark）
16 南加州大学 University of Southern California （Viterbi）
16 威斯康辛大学麦迪逊分校 University of Wisconsin--Madison
19 约翰霍普金斯大学 Johns Hopkins University （Whiting）
19 加州大学圣塔芭芭拉分校 University of California--Santa Barbara
19 华盛顿大学 University of Washington
19 弗吉尼亚理工学院 Virginia Tech
23 杜克大学 Duke University （Pratt）
23 哈佛大学 Harvard University
23 西北大学 Northwestern University （McCormick）
23 莱斯大学 Rice University （Brown）
23 德州农工大学 Texas A&M University--College Station
23 明尼苏达大学双城分校 University of Minnesota--Twin Cities
23 宾夕法尼亚大学 University of Pennsylvania
30 俄亥俄州立大学 Ohio State University
