很久没上hotmail了，看到据说要绑office,顺便去看看，哪知道在登录时就出现： HTTP Status 500 有图有真相：
很久没上hotmail了，看到据说要绑office,顺便去看看，哪知道在登录时就出现： HTTP Status 500 有图有真相：
A new approach to China: an update 3/22/2010 12:03:00 PM On January 12, we announced on this blog that Google and more than twenty other U.S. companies had been the victims of a sophisticated cyber attack originating from China, and that during our investigation into these attacks we had uncovered evidence to suggest that the Gmail [...]
在今年1月12日，我们在这个博客上发表了声明，提到包括 Google 在内的超过20家美国公司遭到来源于中国的黑客入侵。在针对这些攻击的调查过程中，我们发现了一些和中国有关联的人{和}权活动者的 Gmail 帐户被第三方入侵的证据，这些攻击大多数是借助安插在他们电脑上的病毒和恶意程序进行的。这些攻击和监视行为——以及近年中国公民在互联网上的言论自{和}由被大大的限制，包括 Facebook、Twitter、YouTube、Google Docs 和 Blogger等网站都相继被持续性的封锁——促使我们决定停止在 Google.cn 审查我们的搜索结果。 所以，今天早些时候开始，我们停止了对 Google.cn 所有搜索服务的审查：包括 Google 网页搜索、Google 新闻、Google 图片。访问 Google.cn 的用户将被自动跳转到 Google.com.hk，这里将为这些从 Google.cn 跳转过来的用户提供没有审查的简体中文搜索服务。在香港的用户依然可以通过 Google.com.hk 继续使用无审查的繁体中文服务。由于访问香港服务器用户会的突然增多和此次变化的复杂性，用户可能会在我们调整期间遇到服务速度变慢或者部分产品暂时无法访问的现象。 做出停止 Google.cn 搜索服务审查的决定是艰难的，我们希望世界上包括在中国大陆人民在内的更多人可以使用我们的服务。但是中国政府在与我们的谈判中非常明确的表示，自我审查是没有任何回旋余地的法律要求。所以我们相信通过 Google.com.hk 来提供无审查的搜索是一个符合情理的选择——完全符合法律，并且可以使中国人民获得更多的信息。我们衷心希望中国政府能尊重我们的决定，尽管我们知道通过这个方式提供的服务有可能随时被阻断。为此，我们建立了一个每天规律更新的页面来监控中国大陆访问各个 Google 服务的情况，这样所有人都可以随时看到哪个 Google 服务在中国可以访问。 由于 Google 有着广泛的业务，所以我们在中国大陆的研发机构和销售部门会继续保留，其中销售部门的规模将在很大程度上取决于是否能在中国大陆正常访问 Google.com.hk 。 最后，我们在此声明，所有关于本次事件的决定都来自于我们美国的管理团队，没有任何一个中国大陆员工可以或应该为此事承担责任。在今年一月我们宣布可能退出中国之后，我们位于中国大陆员工在面对巨大压力的情况下依然保证了中国用户和客户能正常访问谷歌中国各个服务，我们深深的为他们感到骄傲。 高级副总裁、公司发展和首席法务官 David Drummond 于 2010年3月22日 下午12:03:00 发布
如果说1980年代是PC的时代，1990年代是互联网的时代，那么当下呢？当下是移动互联网的时代。移动互联网的基本要义，一言以蔽之，就是把手机与网站相连，每部手机在网站上都有独立的个人空间，成为手机的镜像。 一部小小的手机里面，可能同时装载着数十个软件。而且在同一时刻，可能好几个软件在同时运行。另外，还得时刻准备暂停运行，把手机CPU等资源让给电话通话等优先级别高的工作。还有，时刻需要准备应付网络连接中断，手机电池耗尽等等情况。总之，手机软件的结构设计，是做小的艺术。 移动网站的架构设计，与手机软件的架构设计有着本质的不同。如果说手机软件的特点在于小，那么网站的特点在于大。仅中国就有几亿手机用户，作为服务于移动业务的网站，它的质量来自于是否能够同时为大规模并发用户提供服务，是否能够处理海量数据，是否能够在需要扩大网站吞吐量的时候，只需要增加机器，而不需要对网站架构做大手术。这是做大的艺术。 提到做大规模网站，大家一定会想到云计算，想到Google File System，Chubby， BigTable，MapReduce等等。这些技术固然很好，但是它们仅仅是构成一个大型网站的技术要素。实际构建一个大型网站时，光知道技术要素是不够的，还得明白如何把各个要素有机地结合到一起。 “Flickr 网站架构研究”（http://www.ccthere.com/article/2357486）是一篇值得反复阅读的好文章。这篇文章不仅对一个大型网站的架构进行了系统解剖，逐条梳理，而且行文深入浅出。可惜这样的文章不多见。关于大型网站实例的讨论，散落在各处，而且内容零散。 学习和掌握构建大型网站的架构，需要汇总散落的文章，梳理零散的内容。做好这项工作很有意义，但是也比较困难。我们的体会是，不妨抓住以下几个主题，逐个分析大型网站的实例，然后横向比较。 1. Database 数据存储历来是麻烦，尤其是需要存储海量数据的时候，往往单个数据库容量不够，甚至一个数据库集群也不够。常见的解决办法是分割，譬如按用户ID把海量数据分割成若干块，每块存储到一个独立的数据库里去。但是分割的做法降低了join操作的效率。 Google Bigtable的效率如何？好处是什么，缺陷是什么？Bigtable对什么样的情景最适用？根据Bigtable原理实现的开源软件，Hadoop/HBase的运行效率如何？ 2. Cache 用户访问网站时，通常读的操作比写的操作更频繁。为了提高读的操作，不妨把相关内容缓存到内存里，减少Disk IO的消耗。 MemCached 最近大热，Wikipedia, YouTube, Digg, Twitter等等大型网站都在用MemCached作为缓存工具。SquidCache和Varnish等等工具，也与缓存沾边。Twitter的做法是把MemCached和Varnish结合起来，同时使用。什么样的内容，应该用什么样的缓存工具？不同的工具间如何协调？各大网站的实际运行的结果，有哪些经验和教训？ 3. File System 有些内容，既没必要存放在数据库里，也不适合存放在缓存中，譬如log 和images。在这种情况下，我们需要文件系统。当有海量内容需要存放在文件系统中时，我们需要使用分布式文件系统。Google File System对于什么样的情景适用，什么样的情景不适用？分布式文件系统常常需要相应的锁机制，保证并发的读写操作不相互干扰。Chubby有什么好处？什么情形下不适用？ 据说MogileFS更适合存储大量的，但是单体尺寸不大的文件，譬如images。而Google File System更适合存放大尺寸但是数量不多的文件。有没有可能把小尺寸的多个文件，合并成一个大文件，然后存储到Google File System中去。在这种情况下，比较MogileFS与Google FS的性能，是否有高下之分？ 4. Thread Management 一套工序通常由若干任务组成。多线程的办法是由一根线程全权负责整套工序的操作。另外一个办法是把工序斩成几段，每一段由一根或几根线程负责，这种办法称为工作台。 常见的是多线程的办法。但是工作台的做法有利于集中计算资源处理繁重的任务，避免瓶颈的出现。但是缺陷是需要在不同线程之间，传递记录中间状态的数据。什么样的情形适合用多线程，什么时候用工作台？ 5. Scheduler 同一个网站通常会提供多种服务，不同的服务需要调用不同的业务逻辑。有些业务逻辑可以在同一台服务器上完成，但是当业务逻辑复杂的时候，需要调用多台服务器合作完成。不同服务的受众对象不同，流量也不同，不同时段的流量也不同，同一时段不同服务的流量也不同，所以需要动态地分配计算资源。这是 scheduler的工作。 Scheduler给不同服务器分配工作时，最简单的办法是启动预先安装在该服务器上的相关程序。由于不能保证每个程序都十分完美，当一个程序发生错误时，应当避免整个服务器因此而崩溃，影响其它工作的正常进行。是否需要动用virtual machine，实现各个不同工作之间相互隔绝？ 6. Signal Flow and Data Flow 大型网站后台系统经常由众多服务器组成，服务器与服务器之间时不时会发生数据交换，譬如Web [...]
按：我认为这是不可多得的有深度有个人观点的文章，作为G-fan，很希望google能不要退出中国。 很久不在这个blog上写和技术无关的东西了，尤其不想写跟业界有关的东西，觉得太空，太忽悠，对别人没价值。但这次，我想写写这5，6年对google和百度的一些观察心得。这里面，这里面存在大量的个人推论，我并不能担保完全正确，请只当作是一次思想的碰撞。 这篇blog主要由我完成，Tinyfool提出了大量修改意见，亦有重要贡献。 1 google，不作恶，信息流动 众所周知，goggle的目标是”整合全球信息”。从另外一个角度看来，这可以看作加快信息流动。信息流动变快是有巨大的经济价值的。加速，始终是人类经济活动的主线，快即是价值。从蒸汽时代到现在，每一次让移动速度加快的方式都造成了人类巨大的变化，只不过，在蒸汽和机械的时代，加快的是人和货物的移动，信息时代加快的是信息的流动。 仔细观察，可以发现，很多事情不再需要实体物质的流动。比如，我们不再需要人去送一封信，而只需传递一封电子邮件。我们也不那么需要去订阅一份报纸送上家门，而只需要浏览门户网站。这是信息时代带来的改变。而Google所做的，是继续加快这种信息流动的速度，让人们需要的东西更快的呈现在眼前。 Google始终坚持Pagerank排名，除了惩罚作弊者，并未干预过任何排名。这是因为，信息的正常流动才会加速，加速信息是Google的价值，也带来巨大的经济价值。Google绝对不允许把广告插入到搜索结果中。否则搜索结果质量会下降->用户不满意->搜索量降低->广告点击降低，最终仍然造成收入下降。（后面我们会讲到百度完全不同的做法） 投放过Adwords的同学会发现，并非价格越高越好，就算单价非常高，如果匹配度很低，广告点击率就会很低。这样Google仍然会降低这种匹配的出现频率。这样就避免了在A在B的搜索结果中投放”我是B”的广告来误导用户。 在这个体系下，有用的东西就是有用的，信息流动会变快，Google会推动这种信息变的更快，没用的东西就是垃圾，会阻碍信息流动，Google就让他变的更慢，直到被放弃。 Don’t be evil 这句口号，可以理解为东欧出生的布林对人生的追求，也可以理解为Google商业利益的准则。因为，越是不作恶，越是让信息有序，正常的流动，给Google带来的实际利益也就越大。很多人认为这只是一句作秀的口号，事实上这是商业和个人追求的双重准则。 2 baidu，竞价排名，Google 百度显然看到了搜索的巨大价值，于是挤进了这个市场。我们且不论搜索质量，先看百度的利润来源。 百度同样有右侧广告(类似Adwords)和左侧排名。左侧排名就是所谓的竞价排名，这是百度的”创新”。竞价排名是百度收入的主要来源(注1)。 前面说过，竞价排名会干扰用户搜索体验，这大家都深有体验，某些热门关键词，百度前几页的结果都是竞价结果。那么为什么Google不敢这样做，而百度这样做就赚翻了呢？ 昨天我在twitter上说过一句话：”adsense是促使信息有序流动并盈利，竞价排名是破坏信息流动并盈利。也难怪两个公司的人看问题截然不同。” 很多人有体验，如果你的搜索结果比较靠前，百度会有销售来找你做竞价排名，如果不做的话，很快你的搜索结果就骤减。这种”巧合”正好说明了阻碍信息流动也是可以盈利的。换言之，帮助别人照看孩子可以赚钱，威胁别人家孩子来收保护费也可以赚钱。 那么，按照前面的说法，阻碍信息流动的应该会被用户抛弃，在百度这边为什么情况相反呢？ 搜索引擎的结果好坏实际很难评价，通常来说，”好10%”是完全没有意义的。这在这个市场上反复被证实，仅仅让搜索结果比对方好10%，或差10%，不会对用户体验影响太大。第二梯队中的搜狗，有道，搜索结果未必真的比百度差多少，但无论如何也无法翻身。同样的竞争也发生在了Google,Bing,Yahoo之间。换言之，搜索引擎产品是一种先入为主的产品。 在百度起家的年代，Google遭遇了最严重的屏蔽。大家应该都有体验，在大公司内基本无法正常访问Google。我们且不去讨论这种屏蔽的始作俑者是否是百度(无论百度是否加快了这种行为，最终的结果也必然发生)。那几年，又正好是中国互联网用户增长最快的年代(注2)。大量的新互联网用户直接成为了百度的用户。 搜索引擎市场上，”获得第一批用户”是至关重要的。 比较百度和Google的产品和收购策略，百度通常收购能带来巨大流量的产品，包括hao123，天空软件站等等。而Google收购的通常是具有独特的技术，可产生独特数据的产品，比如Analytics,blogger。 百度的主要企业运营行为是围绕”获得第一批用户”的。这些方法包括：工具条，hao123，和软件下载站合作等等。Google被屏蔽看作这种行为的反向手法，无论是否百度造就的，至少这个结果导致了百度获得了更多的第一批用户。 在一个基本没有竞争对手的市场上，百度可以”挟流量以令诸侯”，这时候，他破坏一部分信息正常流动也不会造成太严重的后果。因为用户毫无比较。 Google的铁杆用户分为两类。一类是早期用户，这部分用户用过Google，也用过百度。有明确的比较和鉴别能力。他们最终选择了Google。另外一类是专业用户，他们真的发现百度找不到他们需要的东西。这时候Google对比百度的优势大大增加，到达了用户满意程度的临界点，于是这部分用户也选择了Google。 在中国互联网上，大部分用户偏重娱乐。这些用户很难分辨Google和百度的区别。甚至他们会觉得百度更好一些，因为百度提供了方便无比的MP3搜索。他们一旦先尝试了百度，那么就会留下，继续成为百度的用户。这就是我们今天看到的样子。 3 谷歌做了什么 2006年，Google决定开设中国办公室，并命名为谷歌。这是Google创始以来，最大胆，也是最小心的尝试。他们从来没有过试图进入一个需要过滤某些内容的国家(如前所述，这是阻碍信息流动，同时也背叛了Google的价值观)。 我们可以从一些细节看到Google的小心翼翼。比如，Google.cn是没有Google Account的。用户不能注册，也就没有密码，因此也就没有泄密之忧。后来有人嘲笑谷歌音乐可以用各种帐号登录，但就是不能用Google Account登录。所有需要登录的Google服务都没有进入中国。包括Gmail,Gtalk,Blogger等等等。 Google从进入中国那一天，就给自己设置好了底限。这种底限，就是李开复所说的”总部压力”。 李开复的谷歌，是谷歌，绝不是Google。是一个像百度的外企。 3个字可以来概括谷歌几年的工作：”倒流量”。倒流量的工作由一系列的合作(迅雷，sina，天涯，265)完成。这和Google的传统做法完全不同，Google几乎不去主动谋求流量，产品质量会解决所有问题。但谷歌必须谋求流量，一个急进，喜欢去大学讲座和写书的职业经理人，不会有创始人那样的耐心慢慢的守着一个市场。这让谷歌越来越像百度。 众所周知，用和对手一样的手段不可能打倒对手。 谷歌推出的最重量级产品，是谷歌音乐。这显然是看到了百度在MP3搜索上获得的好处，意图获得以娱乐为主的用户。当然，鉴于Google全球的品牌，这些音乐需要有版权。我不评价这个产品的好坏，但这显然和Google总部习惯格格不入。难道Google不知道去做一个音乐下载产品吗？难道Google不能去做一个下载站吗？总部不去做，只不过是因为这和价值观不符。 同样的价值观不符，还包括和天涯合作的来吧。之前说过，除了独特的数据，Google不会主动创造内容。以Google的胸怀，可以去索引百度贴吧和知道，并放在结果的显著位置，但没必要自己去模仿一个贴吧出来。这种竞争的水平太低了。 甚至，谷歌把中国访问Google.com的流量”劫持”到了Google.cn，以便提高自己的”占有率”。这件事让很多Google老用户恼火，Zola曾经在某个李开复参与的活动中举手提问，如何才能在中国正常的访问Google.com。 “倒流量”之后，谷歌的市场占有率有所上升。这是应该的。不过，新上升的占有率中，有多少是真正的搜索流量就不得而知了。正如百度搜索和贴吧等产品的比值是个秘密一样。 百度跟在Google后面，而谷歌跟在百度后面。 除了倒流量，谷歌也在”抓收入”。 投放过Adsense的朋友，大概会记得，Adsense的匹配质量越来越差，医疗方面的内容也越来越多。之前经常有人因为作弊被封掉帐号，后来再也没人说过自己的帐号被封。 我07年的两篇blog提到了这件事： 对不起，这是谷歌，不是google 去掉了blog上的google adsense 这两个特点都不是Google Adsense应有的特性。Google Adsense应该是匹配准，不干扰用户，且提供有用信息。时常读英文内容的人会时常看到Adsense广告的匹配相当精确，时而有点击的必要。 离开了这两个特点，可以把谷歌的广告看作一个大的广告联盟。这和拿了很多小网站的Banner的流量去找广告主谈价本质是一样的。在这种广告销售策略下，不需要匹配，不需要杜绝点击欺诈。最舍得花钱投这种广告的，无非是医疗，美容几类。 [...]