• the mouse
• 2-dimensional display editing
• in-file object addressing, linking
• hypermedia
• outline processing
• flexible view control
• multiple windows
• cross-file editing
• integrated hypermedia email
• hypermedia publishing
• document version control
• shared-screen teleconferencing
• computer-aided meetings
• formatting directives
• context-sensitive help
• distributed client-server architecture
• uniform command syntax
• universal 『user interface』 front-end module
• multi-tool integration
• grammar-driven command language interpreter
• protocols for virtual terminals
• remote procedure call protocols
• compilable 『Command Meta Language』

下圖為 The Mother of All Demos 的現場照片。

在那個以大型電腦為主，command line interface 的時代，可以說所有的操作都是一維的，不是向後打，就是向前刪，滑鼠可以說是第一個二維的輸入裝置，是全新的概念。所謂滑鼠之父，不僅僅只是做出滑鼠這個硬體，還包含軟體部分的操作概念，如何框選、移動、定位。滑鼠的出現，在當時的確也引發極大的響應。下面就是史上第一支滑鼠，定位方式跟現代的滾球滑鼠相去不遠，就是兩個滾輪分別感測橫、直向的位移。只是現代的會間接由一個球去接觸桌面，在內部再由額外的兩個滾輪去感測球的轉動方向。

下面的影片是他在 The Mother of All Demos 時，展示 word processor。可以看到滑鼠、鍵盤、以及 Chord keyboard，還展示了複製貼上等等功能，請從大約 3 分時開始看。

可以發現當時用的滑鼠已經經過改良，是三鍵滑鼠，而不是只有一顆紅色按鈕的滑鼠。滑鼠用作定位，中間鍵盤單純用作輸入文字，可能因為沒有 Ctrl or Alt 按鈕 及 shortcut key 的設計，複製貼上一些功能性操作由左邊的 Chord keyboard 提供。這不就是我們目前常在用的 MS Word 等等文字處理軟體的先驅嗎！所見及所得，用滑鼠選取、複製、貼上，並區分段落。

他使用滑鼠選取的方式跟現在框選反白的方式有些分別，他是先按一點作為起頭，然後再按一點作為結束。多項選取也僅是用一個圓點做選取標記。其實這種選取方式在有點歷史的 emacs 中還可以見到，左鍵點開頭，右鍵點結尾就選取並複製一個區塊了。再用中鍵就可以貼上。

下面這個影片詳細介紹了滑鼠以及 Chord keyboard 的設計及功能。整個系統的元件組成，和顯示系統的原理。

下面的影片展示了樹狀的檔案、目錄顯示方式，如何去選擇、歸類、新增、排列文件。這些皆是現代 file manager 的元素阿～～

完整的 The Mother of All Demos 一共 90 分鐘，在 youtube 上皆可找到，內容涵蓋甚廣，包含他們的開發介面、語言和版本控制系統都有提到。

要說 Engelbart 對 HCI 最大的影響，就是造就了 desktop computer。就如同我們身邊的 PC 一般，電腦與我們的工作環境直接結合，提供良好的輸入方式（滑鼠、鍵盤、chord key），並有有效的視覺、音效回饋，還有圖形化的操作介面。單單這個概念，就可以無限延伸出現代的 GUI 系統與 desktop 的眾多應用，更別提他在 NLS 系統中已經由這個概念生出不少實用產品了，要說他是 GUI 之父一點也不為過。另外他也創造了電腦對於多人協同式工作的應用概念。傳統上電腦都是 batch processing，就是把工作丟給電腦處理，然後等電腦回饋，就單純只有人與機器。 NLS 提供不一樣的想法，人與人工作可以透過電腦作為中間的平台完成工作，透過網路更可以讓距離遙遠的兩個人互相合作，這不就是身處現代的我們，日常的工作模式嗎？

參考資料：

• http://en.wikipedia.org/wiki/Douglas_Engelbart
• http://en.wikipedia.org/wiki/On-Line_System 
  http://sloan.stanford.edu/MouseSite/1968Demo.html
  http://www.cs.brown.edu/stc/resea/telecollaboration/engelbart.html

其實多點觸控的技術在二十年前就有了，但到近年來才真的有眾多應用，現在最知名的就是iphone 與 ipod touch 的介面，還有新款 macbook 的觸控版。不過這些並非完整的多點觸控，僅支援部分的內定操作手勢，先由硬體去解析手勢成單一訊息（如放大、Scroll），再由軟體對對其做出反應。

我們身邊最容易接觸到的多點觸控裝置大概就是 WiiMote，WiiMote 黑色IR filter片後其實有一個 1024×768 解析度的攝像頭，WiiMote 在接受攝像頭進來的圖像後，能分別辨認出四個 IR 光點，於是可以作為多點觸控的輸入資訊。WiiMote 本身也是透過 bluetooth 與 Wii 通訊，因此要使 WiiMote 與電腦通訊也是相當容易的。最早使用 WiiMote 做出許多有趣的應用就屬 Johnny Chung Lee。這是他的多點觸控影片：

 WiiMote 可以用來做感測 IR 光點的裝置，但還需要東西發出 IR 光點。這部影片中他做了一枝筆，與IR LED 結合，並加一個開關控制 IR LED 的明與暗。當他按下按鈕，筆上的 IR LED 就會亮，於是 WiiMote 就可以感測到，剩下的只是電腦中處理 WiiMote 的訊號而已。也未必要使用 IR LED 筆，用雷射筆就可以不需要直接接觸螢幕了，只是雷射筆可能要把兩隻並一起，一支 IR 給 WiiMote看，一支可見光給人眼看。

不一定要 IR 自發光源才能被偵測，反射的照用：

WiiMote 大概是最夯的 MultiTouch DIY 作法，便宜且容易。另外還有一個 Jeff Han，也發明了便宜的 Mutlitouch 作法，稱之為 frustrated total internal reflection (FTIR)，也非常適合 DIY。原理如下圖：

frustrated total internal reflection

FTIR 是將光線從側面射入壓克力版中，光線會因全反射留在壓克力版中而不會由上方或下方溢出。當手指碰觸到時，會破壞全反射，使得光線向下射出，再由下方攝像頭接收即能判斷處碰點。

這是 Jeff Han 的一些成品影片：

Microsoft 的 Surface也是相當出名的 MultiTouch 實作，如下圖，其原理一般稱之為 Diffused Illumination。

從圖中可以看到四個元件：

1. 投影幕，一般來說下方會有一片 Diffuser，用來擴散紅外光的投影，與 FTIR 圖中相同。
2. 紅外光投射燈。
3. 紅外光攝影機，用來感測反射的紅外光熱點。
4. 螢幕畫面投影機，就是顯示畫面用的。

這是 Microsoft 的 Surface 廣告影片：

當然，我們未必要透過發光點來偵測手指位置，直接用攝像頭擷取畫面，再分析手手在哪裡也可以阿。這是相關的 Project，以下是影片

不使用攝像頭的方式就像 Sony SmartSkin：

多點觸控的作法千變萬化，不用光線用聲音、震動，或是單純接多隻滑鼠無所不可，在 MMDays 中對 MultiTouch 有相當豐富的介紹。