三大搜索引擎乐成实现了他们的初志——研究要害应用,,,,,,,,积累搜索引擎手艺,,,,,,,,并在此基础上作育了大批互联网人才,,,,,,,,他们走出实验室,,,,,,,,成为了中国互联网生长的主要实力。。。。。。。
1991年,,,,,,,,蒂姆·伯纳斯·李发明的WWW席卷了全球,,,,,,,,规模每年翻一番的互联网最先每三个月翻一番。。。。。。。
但总的来说,,,,,,,,全球互联网照旧一片待开垦的土地:人们找不着北,,,,,,,,不知道去那里寻找自己想要的内容。。。。。。。虽然互联网将盘算机毗连了起来,,,,,,,,却没有把人和互联网连起来。。。。。。。在没有搜索引擎的日子里,,,,,,,,人们只能按图索骥,,,,,,,,点开一个又一个网站,,,,,,,,逐个寻找自己需要的信息。。。。。。。
1994年,,,,,,,,美国斯坦福大学的研究生杨志远(Jerry Yang)和大卫·费罗(David Filo)用人工分类目录的方法制作了一个网站指南,,,,,,,,这是由许多网站的链接组成的列表,,,,,,,,取名为Yahoo。。。。。。。Yahoo一经推出就吸引了一大批需求者。。。。。。。
但这种“喂到嘴边”的目录分类列表没能真正知足用户的焦点需求——让信息蹦到眼前。。。。。。。
搜索,,,,,,,,作为互联网最基本的信息效劳,,,,,,,,仍然没有泛起最优解,,,,,,,,也因此成为全球互联网研究职员倾注热情的课题。。。。。。。
CERNET三大搜索引擎启航
1995年,,,,,,,,全球互联网的用户数目抵达了1600万。。。。。。。随后的几年里,,,,,,,,危害投资家们忙得不可开交。。。。。。。《华尔街日报》说,,,,,,,,险些每隔15秒就有一家以“.com”命名的新公司上市,,,,,,,,互联网走向了商业化。。。。。。。
在网络经济破茧而出的前夕,,,,,,,,中国全功效接入了国际互联网。。。。。。。1994年4月20日,,,,,,,,通过美国Sprint公司的64K专线,,,,,,,,中关村地区教育与科研树模网络NCFC接入国际互联网。。。。。。。也在这一年,,,,,,,,中国第一个笼罩天下的互联网主干网——中国教育和科研盘算机网CERNET降生了。。。。。。。
从接入国际互联网那一刻最先,,,,,,,,中国就用互联网毗连并奋力追赶着天下。。。。。。。
1996年,,,,,,,,“九五”攻关启动,,,,,,,,旨在集中实力攻克工业升级和社会一连生长亟需解决的要害手艺和共性手艺。。。。。。。信息手艺是其中一个重点领域。。。。。。。CERNET领到的使命是“盘算机信息网络及其应用要害手艺研究”,,,,,,,,即基于建成的CERNET树模工程,,,,,,,,对盘算机信息网络及其应用要害手艺睁开研究。。。。。。。
也就是说,,,,,,,,一是要研究互联网要害焦点手艺,,,,,,,,二是要开展互联网要害应用,,,,,,,,从而构建一个完整的海内互联网生态系统。。。。。。。项目提出了六大主要使命:网络治理与运行手艺、网络及信息清静手艺、网络互连和路由手艺、网络设计和测试手艺、网络信息发明手艺、典范网络应用手艺。。。。。。。而搜索引擎既属于网络信息发明手艺,,,,,,,,又属于很是要害的互联网应用。。。。。。。
今天回过头看,,,,,,,,“九五”攻关的项目立项得很是实时,,,,,,,,极具战略眼光,,,,,,,,富有远看法捉住了互联网生长的基础要害问题。。。。。。。
搜索引擎研究课题接纳的方法也很是有趣,,,,,,,,并不是由一家单位来完成,,,,,,,,而是选择了三所高校来实验——清华大学、北京大学和华南理工大学。。。。。。。由此,,,,,,,,在三所高校的网络实验室里,,,,,,,,开启了中国最早的搜索引擎手艺研究。。。。。。。
清华大学网络指南针


网络指南针搜索引擎主页
清华大学网络指南针搜索引擎的研发由清华大学教授、CERNET网络中心副主任李星主持。。。。。。。
网络指南针(Net Compass)的名字就是李星取的。。。。。。。早前,,,,,,,,他从清华大学电子工程系本科结业后赴美留学,,,,,,,,1991年留学归来后,,,,,,,,他很不顺应没有网络的生涯,,,,,,,,于是四处呼吁建设中国的互联网。。。。。。。1994年,,,,,,,,CERNET树模工程启动,,,,,,,,李星就被吸收进入了项目,,,,,,,,以是他总说自己是“票友下海”。。。。。。。
1996年,,,,,,,,李星向导他的学生们张俐、杨文峰、解冲锋、李粤、许静芳和崔伟东等最先了对搜索手艺的探索。。。。。。。
网络指南针主要研究中文搜索引擎的手艺实现。。。。。。。比起英文的字词搜索,,,,,,,,中文更难。。。。。。。由于英文的字与字之间有空格,,,,,,,,能很自然地切分词汇,,,,,,,,而中文不是。。。。。。。因此,,,,,,,,团队面临的第一个要害问题就是:怎样切分中文的要害词来举行搜索??????字与字之间应该怎样切词??????若是基于一个一个字来切,,,,,,,,盘算量重大;;;;;;若是基于词来切,,,,,,,,那么没有实质寄义的词组要不要切??????
在充分思量了中国文化配景和汉语的使用习惯后,,,,,,,,网络指南针对切词的方法举行了调解。。。。。。。像《红楼梦》里的语句:“雨村领其意,,,,,,,,作别至馆中,,,,,,,,忙寻邸报看真确了。。。。。。。”“邸报看真”这样的词条,,,,,,,,虽不是针言,,,,,,,,也不是常用词,,,,,,,,但能在指南针上搜出链接。。。。。。。
除了提供网站列表之外,,,,,,,,网络指南针还提供了一些关于链接的模糊信息,,,,,,,,由一个词可以衍伸至另一个相关的词。。。。。。。
这种做法一是给用户提供了更多选择,,,,,,,,二是提升了用户搜索体验的意见意义感。。。。。。。当用户注重到一个突出显示的文字或短语时,,,,,,,,就会举行点击以相识更多信息,,,,,,,,链接就将他们带到另一个页面。。。。。。。好比搜索“cisco”,,,,,,,,就会自动泛起“路由器”的链接,,,,,,,,用户就能顺藤摸瓜浏览其他网页。。。。。。。
1997年10月,,,,,,,,网络指南针最先向用户提供中英文信息盘问效劳,,,,,,,,它收录有20多万网页,,,,,,,,网络了CERNET、ChinaNet、中国科技网和中国金桥网等信息资源。。。。。。。1998年7月《软件天下》杂志上刊登的一篇名为《中文搜索网站先容与较量》的文章谈论说:“网络指南针的特色在于盘问要领的多种多样。。。。。。。其系统稳固性、查找速率均为中上之选。。。。。。。”
从1999年12月到2000年8月,,,,,,,,有10万多名用户对指南针举行了80多万次的盘问,,,,,,,,指南针成为教科网内着名的搜索引擎。。。。。。。
“照旧有遗憾的,,,,,,,,”李星谈起网络指南针时体现,,,,,,,,“第一个遗憾是依赖于集中式的手艺,,,,,,,,未能像谷歌那样发明Map-Reduce手艺,,,,,,,,从而走到漫衍式。。。。。。。第二个遗憾是缺乏响应的机制,,,,,,,,将网络指南针商业化。。。。。。。”
关于前者,,,,,,,,网络指南针其时的系统结构是集中式,,,,,,,,随着Web的生长,,,,,,,,关于搜索引擎的可扩展性提出了挑战。。。。。。。在互联网生长初期信息量还没有那么大的时间,,,,,,,,集中式的手艺确实可以知足用户的需求,,,,,,,,而当互联网飞速生长以后,,,,,,,,这种模式就逐渐跟不上急速扩张的互联网资源了。。。。。。。关于后者而言,,,,,,,,商业化涉实时署理念和情形,,,,,,,,更是难。。。。。。。
关于搜索引擎而言,,,,,,,,1998年是具有划时代意义的一年。。。。。。。这年,,,,,,,,斯坦福大学的博士生拉里·佩奇(Lawrence Edward Page)由科研文献被引用率与其价值成正比想到,,,,,,,,网页链接也云云——不是所有链接都一律,,,,,,,,一个链接被毗连得越多,,,,,,,,它就越主要。。。。。。。在此基础上,,,,,,,,拉里·佩奇和谢尔盖·布林(Sergey Brin)发明了Page Rank(佩奇排名)算法。。。。。。。正是这个基于网页链接剖析的算法,,,,,,,,使得搜索手艺具有了和以往完全差别的使用效果,,,,,,,,Google一举成名。。。。。。。
几年后,,,,,,,,Google发明了面向大规模数据处置惩罚的并行盘算模子和要领——Map-Reduce手艺,,,,,,,,并将其普遍应用于大规模的数据处置惩罚。。。。。。。手艺上的一直开拓,,,,,,,,伴以成熟的危害投资机制,,,,,,,,Google飞速壮大。。。。。。。
然而,,,,,,,,关于刷新开放才20多个年头、商业情形不敷成熟、还在迷雾中探索互联网手艺的中国,,,,,,,,一切都是Hard模式。。。。。。。和其他一些90年月的搜索引擎一样,,,,,,,,在缺乏商业化机制的情形下,,,,,,,,网络指南针没能走到最后。。。。。。。二十世纪末的最后几年,,,,,,,,海内上网用户的规;;;;;;购苄,,,,,,,,搜索引擎商业化的远景并不被看好。。。。。。。虽然在今天,,,,,,,,在线广告是互联网最主流的变现模式,,,,,,,,但在90年月,,,,,,,,在报刊上登一次广告的反响率,,,,,,,,比在网上登两个月广告的反响率还要多一倍。。。。。。。
网络指南针(Net Compass)的名字还引发了一段小插曲。。。。。。。2024年,,,,,,,,在中国互联网协会举行的“中国互联网30年岁念”座谈上,,,,,,,,搜狐的张向阳回忆起1998年建设网站前夕,,,,,,,,他灵光一闪,,,,,,,,想出一个很是知足的名字——指南针。。。。。。。他回到清华盘算机系,,,,,,,,兴奋地和吴建平先生聊,,,,,,,,吴建平说,,,,,,,,清华的搜索引擎就叫指南针,,,,,,,,还申请了域名。。。。。。。于是张向阳把他的网站名改成了搜狐。。。。。。。“遗憾的是,,,,,,,,厥后腾博会域名没有一连交费,,,,,,,,现在已经不在了,,,,,,,,要是留着也挺好的。。。。。。。”李星回忆道。。。。。。。
北大天网搜索引擎


天网搜索引擎主页
Google建设后的第二年,,,,,,,,北京大学信息治理学院结业的李彦宏竣事了在美国的职业生涯,,,,,,,,回国创业,,,,,,,,剑指搜索引擎。。。。。。。他的主要使命是招兵买马,,,,,,,,传说中“百度七剑浚????汀敝械牧轿弧蹩屠酌屠醋员贝筇焱阉饕妗!!!。。。
天网搜索引擎取意“天网恢恢,,,,,,,,疏而不漏”,,,,,,,,用在信息搜索上十分贴切。。。。。。。
1996年,,,,,,,,北京大学网络实验室陈葆珏教授带着刘开国、周利民和雷鸣等人最先了对天网搜索的研发。。。。。。。刘开国是北大西席,,,,,,,,其他人都是研究生。。。。。。。
团队以为,,,,,,,,搜索引擎是系统层面的新事物。。。。。。。它实质上是一种信息效劳,,,,,,,,焦点问题有两个:怎样返回用户想要的信息,,,,,,,,怎样让用户快速会见。。。。。。。也就是一要准,,,,,,,,二要快。。。。。。。要从几万万甚至上亿个网页中找出信息并在1秒内返回,,,,,,,,难如大海捞针,,,,,,,,而团队乐成实现了从零到一的突破,,,,,,,,并取得了阶段性的效果。。。。。。。
1997年10月29日,,,,,,,,北大天网最先在CERNET上向用户提供效劳。。。。。。。到了1998年9月,,,,,,,,会见者已经凌驾了10万。。。。。。。1999年《中国信息导报》宣布了一篇名为《中文搜索引擎生长的现状、问题及对策》的文章,,,,,,,,对天网搜索引擎做出了如下评价:“北京大学‘天网’的要害词盘问方法有简朴盘问和重大盘问,,,,,,,,盘问界面友好且功效性较强,,,,,,,,相比而言,,,,,,,,查准率较高,,,,,,,,因而深受宽大网上用户的青睐。。。。。。。”
着实,,,,,,,,刘开国很早就最先思索怎样让搜索引擎在重大的市场竞争中逆流而上。。。。。。。在1998年的一次采访中,,,,,,,,他提到,,,,,,,,就像以前的操作系统、字处置惩罚软件最后被许多外洋软件占了优势一样,,,,,,,,搜索引擎也面临同样的问题。。。。。。。手艺的深入、资源的投入和商业化可能才是做大做强的必经之路。。。。。。。
1999年关于天网搜索而言是很特别的一年。。。。。。。那一年,,,,,,,,李彦宏回国创业。。。。。。;;;;;;乩辞跋,,,,,,,,他凭证天网上的Email地点给刘开国发了一封邮件,,,,,,,,约请刘开国一起在中国开发一款搜索引擎。。。。。。。几经思索后,,,,,,,,刘开国辞掉了北大西席的职务,,,,,,,,成为百度的第一名员工,,,,,,,,认真手艺研发。。。。。。。在刘开国的推荐下,,,,,,,,北大天网的其他主力开发职员周利民、雷鸣也加入了百度。。。。。。。
同年,,,,,,,,陈葆珏教授退休,,,,,,,,李晓明接任了北大天网研发认真人的职位。。。。。。。“在天网搜索引擎生长的第一阶段,,,,,,,,陈葆珏先生给我们打了一个很好的基础。。。。。。。从2000年最先,,,,,,,,我们建设了新课题组,,,,,,,,进入了北大天网第二阶段的生长。。。。。。。新课题组的主要成员有王建勇、闫宏飞、彭波、谢欣和陈华等人。。。。。。。”李晓明说。。。。。。。
彼时,,,,,,,,互联网上的网页数目已达万万级,,,,,,,,闫宏飞和彭波开发了一套手艺,,,,,,,,以实现系统的并行化。。。。。。。陈华从雷鸣手里接下了其时并不受重视的FTP搜索使命,,,,,,,,他还真做了出来,,,,,,,,2002年,,,,,,,,北大天网FTP搜索成为海内最著名的FTP搜索。。。。。。。北大网络实验室还运用了Google的新手艺提升了系统的能力,,,,,,,,推出了天网Maze。。。。。。。
之后,,,,,,,,北大天网迎来了它的第三个生长阶段:留存中国互联网的影象。。。。。。;;;;;;チ闲畔⒎诅∨釉,,,,,,,,在缺乏维护的情形下,,,,,,,,大大都网页只是“县花一现”,,,,,,,,随着时间的流逝而湮灭。。。。。。。2002年,,,,,,,,北大网络实验室开发建设了“中国Web信息博物馆”,,,,,,,,到2015年,,,,,,,,博物馆珍藏了70多亿网页文本数据,,,,,,,,容量超200TB。。。。。。。2016年,,,,,,,,实验室将其捐赠给了中国盘算机学会,,,,,,,,向公众开放。。。。。。。
这一项目的意义最近越来越获得凸显:2024年,,,,,,,,一篇名为《中文互联网正在加速崩塌》的文章在网上撒播,,,,,,,,文章指出,,,,,,,,中文互联网上的许多历史信息崩塌式消逝,,,,,,,,就像历史中止掉的链条一样平常。。。。。。。这篇文章让许多人最先关注北大的Web信息博物馆。。。。。。。这一项目的意义还不止于此——陪同着近两年天生式人工智能的生长,,,,,,,,Web信息博物馆里网络的近20年的数据成为了各大科研机构训练大模子的名贵语料,,,,,,,,已经被30多家机构接纳。。。。。。。虽然,,,,,,,,这是后话了。。。。。。。
华南理工木棉搜索引擎


木棉搜索引擎主页
每年秋天,,,,,,,,木棉花盛开时,,,,,,,,华南理工大学的校园中恰似有无数欢快的火苗在跳跃,,,,,,,,满树粉黛亦如云如霞,,,,,,,,而木棉搜索引擎这一优美的名字就由此而来。。。。。。。
1996年,,,,,,,,木棉搜索引擎的研发在华南理工大学信息网络工程研究中心正式启动。。。。。。。网络实验室的认真人是华南理工大学教授张凌,,,,,,,,他同时也是CERNET专家委员会的副主任。。。。。。。那年,,,,,,,,他和实验室的董守斌教授一起带着学生们研发木棉检索。。。。。。。
1998年12月,,,,,,,,木棉正式向互联网用户提供效劳,,,,,,,,支持Web检索、FTP检索和信息采编。。。。。。。主要提供两类信息检索效劳,,,,,,,,一是面向学校、大型企业的企业级搜索引擎,,,,,,,,如华南理工大学校内搜索、广州科技网检索系统等。。。。。。。二是面向教育网资源的全网专题检索,,,,,,,,这一系统面向中国教育和科研盘算机网CERNET,,,,,,,,整合了天下种种教育资源,,,,,,,,为教育网用户提供优异的信息检索平台。。。。。。。
木棉检索团队在手艺上做了许多探索。。。。。。。他们与清华大学团结肩负国际联网清静研究项目——“信息自动盘问与识别手艺”,,,,,,,,通过网络信息抓取并实现敏感词汇的过滤,,,,,,,,这也是第一代带要害词过滤的爬虫系统。。。。。。。
他们还与Sun公司相助,,,,,,,,建设了大陆第一个大型FTP开源文件下载中心(SunSite),,,,,,,,并重点攻关FTP检索,,,,,,,,网络了百万条FTP文件信息,,,,,,,,支持对文件名、文件目录和文件URL的模糊盘问和文件属性的结构盘问,,,,,,,,对大批量数据有较快的响应时间,,,,,,,,是其时海内信息量较大和效劳功效较完善的FTP检索。。。。。。。
进入二十一世纪后,,,,,,,,互联网手艺得以快速生长。。。。。。。木棉搜索引擎也履历了许多生长转变,,,,,,,,其系统由集中式搜索改为漫衍式搜索,,,,,,,,这是一个很大的调解。。。。。。。同时,,,,,,,,尽可能选择搜索领域的开源系统——如早期泛起的Lucene——举行二次开发。。。。。。。
2002年,,,,,,,,北京大学主理了第一届天下搜索引擎和网上信息挖掘学术(SEWM)钻研会。。。。。。;;;;;;侠砉ご笱А⑶寤笱Ы羲婧,,,,,,,,主理了第二届和第三届钻研会。。。。。。。该聚会其时是搜索引擎领域的旗舰聚会,,,,,,,,其主要特色是举行中文搜索引擎竞赛测评。。。。。。。木棉搜索团队多次在该会组织的测评中压倒一切。。。。。。;;;;;>刍岷蟾煜滦畔⒓焖餮蹙刍幔–CIR),,,,,,,,举行至今年,,,,,,,,恰恰是第三十届。。。。。。。
2005年,,,,,,,,董守斌和一起加入项目的袁华开设了“网络信息检索”本科课程。。。。。。。浚????纬淘缦仁亲魑绻こ套ㄒ档奶厣纬,,,,,,,,后生长为面向盘算机学院的选修课,,,,,,,,这也是海内首个讲述信息检索手艺和搜索引擎原理的本科生课程。。。。。。。在多年研究与教学的基础上,,,,,,,,两位先生撰写了本科课本《网络信息检索》,,,,,,,,获评“十三五”高等教育本科国家级妄想课本。。。。。。。
2009年,,,,,,,,在发改委下一代互联网项目的支持下,,,,,,,,四所高校——华中科技大学、华南理工大学、北京大学、清华大学团结开发了IPv6漫衍式搜索引擎,,,,,,,,建设了下一代互联网漫衍式搜索引擎平台,,,,,,,,增进了我国IPv6下一代互联网应用的昌盛。。。。。。。
互联网人才作育基地
2000年之后,,,,,,,,海内掀起了互联网商业化的浪潮,,,,,,,,拥有商业资源的应用在资源的加持下一起前行,,,,,,,,早期仅仅出于研究目的的搜索引擎逐渐退出了江湖。。。。。。。
然而,,,,,,,,不可否定的是,,,,,,,,90年月末、00年月初,,,,,,,,以网络指南针为代表的三大高校的起劲探索,,,,,,,,为商业搜索引擎的飞速生长扫清了障碍——不但积累了中文处置惩罚的优势,,,,,,,,更在此历程中作育了一大批手艺人才,,,,,,,,他们成为日后中国搜索引擎领域的主干。。。。。。。
在清华,,,,,,,,团队的学生们厥后在互联网领域大放异彩:张俐,,,,,,,,厥后任职IBM研究院;;;;;;解冲锋,,,,,,,,现为中国电信北京研究院IPv6首席专家;;;;;;李粤,,,,,,,,博士结业,,,,,,,,现任华南理工大学副教授,,,,,,,,继续研究搜索引擎;;;;;;许静芳,,,,,,,,现为微信搜索应用部副总司理,,,,,,,,微信搜一搜营业认真人,,,,,,,,在此之前,,,,,,,,她是搜狗的高级副总裁。。。。。。。
在北大,,,,,,,,天网搜索引擎在整个生长中作育了诸多人们熟知的互联网人才。。。。。。。搜狗的王小川用“黄埔军校”来比喻,,,,,,,,很可能是由于这里是新兴互联网手艺公司的孵化器,,,,,,,,也可能是由于从这里走出了许多乐成的互联网创业者。。。。。。。从天网搜索第一个生长阶段的刘开国、雷鸣等人,,,,,,,,到第二、三阶段的陈华、谢欣等人,,,,,,,,许多互联网创业人从这里走出。。。。。。。谢欣现为字节跳动副总裁,,,,,,,,陈华是酷讯网、唱吧的首创人,,,,,,,,姚丛磊是百炼智能的团结首创人,,,,,,,,张志刚、陈静是脉讯在线的团结首创人,,,,,,,,欧高炎开办了博雅数智,,,,,,,,陈日闪则在美国开办了AutoBizLine,,,,,,,,等等。。。。。。。“从这个实验室出来的学生,,,,,,,,创业密度特殊大。。。。。。。”一家媒体说。。。。。。。
华南理工大学的团队也在数十年的研究与教学中作育了许多专业搜索手艺人才,,,,,,,,这些学生结业之后活跃于腾讯、百度、搜狗、字节跳动、网易、中国电信、中国移动等公司的搜索相关部分,,,,,,,,业已成为手艺带动人及主干成员。。。。。。。
在这个意义上,,,,,,,,三大搜索引擎已乐成实现了他们的初志——研究最要害的应用,,,,,,,,积累搜索引擎手艺,,,,,,,,并在此基础上作育了大批互联网主干人才,,,,,,,,他们走出实验室,,,,,,,,成为了厥后中国互联网生长的主要实力。。。。。。。
配景资料:“盘算机信息网络及其应用要害手艺研究”项目
1996年,,,,,,,,由教育部主持,,,,,,,,清华大学等14所高等院校和科研单位肩负的国家“九五”重点科技项目(攻关)妄想——“盘算机信息网络及其应用要害手艺研究”经国家计委批复立项。。。。。。。1998年,,,,,,,,该项目通过国家判断验收,,,,,,,,这也是我国第一个互联网领域的国家重大科研项目通过验收。。。。。。。项目涉及网络互连、治理和清静方面的六大焦点手艺攻关。。。。。。。
项目基于CERNET树模工程,,,,,,,,围绕网络治理与运行手艺、网络及信息清静手艺、网络互连和路由手艺、网络设计和测试手艺、网络信息发明手艺、典范网络应用手艺六大互联网领域的要害手艺和装备举行攻关,,,,,,,,在网络治理系统、路由引擎、防火墙、搜索引擎等方面填补了海内空缺。。。。。。。