記得 2006 年 chroot/Hacks in Taiwan Conference 的發起人 timshu 曾經出版過一書 《Linux C函式庫詳解辭典》,這本書含括了超過 400 個函式,成為許多 Linux 軟體開發者的參考手邊書。

雖然 Linux/Unix 系統上有相當多的參考文件,只要你知道該問什麼問題,都可以找到答案。但是線上手冊 (man pages, info)常缺乏系統式的整理,新手頗難入手。且 man pages 有時言簡意賅,缺乏範例程式,往往不容易閱讀。因此像是《Linux C函式庫詳解辭典》便極有參考價值。

類似的系統 API 書籍還有 Robert LoveLinux System Programming: Talking Directly to the Kernel and C Library。rlove 的書對於各系統層廣度足夠,可惜深度不足,書中充滿提示,你得有足夠的背景知識纔全然理解他所要傳達的資訊,而具體的實務應用資訊也不足,無法用來當作字典臨時查詢需要的 API 與範例。

2010 年十月,Michael Kerrisk 發表了 TLPI – The Linux Programming Interface,Michael Kerrisk 是 Linux man-pages Project 的維護者,文件維護者出書其份量與內容勢必可觀,TLPI 內容超過 1500 頁、超過 60 個章節、超過 200 個範例,內容除了含括 POSIX.1-2001/SUSv3POSIX.1-2008/SUSv4 外,也包含了許多 Linux 獨有的特色,對於跨 UNIX 作業系統移植性亦有著墨,相對於 Richard Stevens 與 Stephen A. Rago 的 Advanced Programming in the UNIX Environment ,圖表與內容均不遜色,且每個章節都至少有一題練習題。

值得一提的是,TLPI 除了介紹 system calls 外,文中也試著說明 2.4.x. 到 2.6.x (2.6.34) 間核心變動對於系統的影響。

推薦 Linux 軟體開發者備妥一本作為案頭書。

硬體支援概況

在 Wine 中接取硬體,主要有兩種模式。

一、直接介接 Linux 的 API,像是 X11, SANE, V4L, ALSA 等等。目前少數實做的硬體介接模擬功能有圖形 (winex11.drv, winequartz.drv) 、音效以及輸入裝置 (keyboard, mouse, joystick, twain/sane) 等模擬層。另外 Wine 提供了 IoCode/Operation Code 轉譯功能,容許 Windows 程式直接存取硬體,這包含 Serial Communications[2] 以及 CDROM/ATAPI, TAPE 支援。

二、另外一種則是類似 NdisWrapper,直接載入並使用 Windows 驅動程式。目前而言負責載入 Windows 驅動程式的 NTDLL 中均未實做 NtLoadDriver, ZwLoadDriver 等函式細節,只宣告為 Stub Function. 因此即便驅動程式安裝程式可以順利安裝、註冊相關驅動程式 DLLs, Wine 也不會載入這些驅動程式。

目前 Wine (1.3.19) 並沒有模擬載入底層驅動程式

Smart Card Support

Smart Card 支援問題是最常被詢問的問題之一,依據 MSDNSmart Card Subsystem 設計,可以分為以下數層

  • Smart Card Service Providers
  • Resource Manager
  • Specific Smart Card Reader Driver
  • Smart Card Reader Helper Library

驅動讀卡機是最基本的功能。參考 Microsoft Class Drivers for USB CCID Smart Cards結構說明,驅動程式有兩類,一是 CCID 相容硬體或 USB 廠商所提供的驅動程式。而其上應用程式可用 Smart card resource manager (winscard.dll) 來下達 PC/SC 指令。

如上所述,Wine 並不會載入驅動程式。winscard.dll 目前也只是 stubbed functions.

不過 IDRIXMounir IDRASSI 開發了介接 PCSC-Lite/pcscd,使 Smart card resource manager 可以透過 PCSC-Lite 提供 PC/SC Services.

USB Support

理論上,user-mode 的 USB 驅動程式也可以透過轉譯直接存取 USB 設備,只要該軟體未使用 ntoskrnl.exe, hal.dll, usbd.sys 以外的功能。目前官方 Wine source tree 只在 usbd.sys 中實做查詢 USB Devices 功能。

Etersoft 的 Alexander Morozov 則已利用 libusb 實做 USB 功能,提供一些需要使用 USB hardware token 進行硬體保護的軟體使用。這些功能未整合到 Wine 主程式。相關程式碼位於 ftp://ftp.etersoft.ru/pub/people/amorozov/usb,使用時需要手動在 registry 中加入 vendor id/product id 設定

這是 2011/04/09 為了 GNOME 3 Launch Party 臺北場 所準備的演講。

Zeitgesit 與 GNOME 其實一年前就曾經在 blog 上介紹過。這次的演講主要是想談 GNOME 2 到 GNOME 3 開發者對於增進 UX 的典範轉移。過去十年來,GNOME 計劃雖然強調 UsabilityAccessibilty,但始終在使用者界面中以大量的隱喻來協助使用者應用電腦系統,追隨著主流圖形化界面的影子。

直到 GNOME 3 中的 GNOME Shell 計劃,開發者開始思考當下這個世代人們在資訊系統上的困境,而對問題的重新定義,進而發展新的方向。而我試著討論除了 UX 以外,GNOME 計劃想解決的問題,重新審視人對於工作方法、記憶的使用方式。稍加提到目前 Linux Desktop / GNOME Project 可用的軟體。並再從記憶使用的觀點,進一步介紹 Zeitgeist 的想解決的問題,以及它的軟體架構與相關計劃。

簡報檔可於 SlideShare 下載

備註: 遺失的時代精神是因爲 Zeitgeist 與 GNOME Activity Journal 要在 GNOME 3.2 纔會納入 GNOME Project.

簡介

自從 Wine 1.0 2008 年六月釋出之後,便開始以兩、三周為週期,開始固定的釋出新版。Wine 是針對 POSIX 相容的作業系統所設計,目前 Wine 已經被移植許多平臺上,除了 Linux 外,也可以在 Solaris, FreeBSD, x86 版本的 Mac OS 上使用。經過長期的開發與社羣支援,目前在 Appdb 中已有超過一萬六千個軟體測試報告,其中有將近 3000 筆是屬於高度可用 (Platinum List) 的軟體。

在 Appdb 中仍有大量的軟體存在執行的問題,造成使用困擾,甚至無法使用。這與 Wine 的設計有關,Wine 跟 Dosboxzsnes 不同,既不是模擬器,也不是虛擬機器。它是以軟體方式模擬出 Windows® 作業系統所需的軟體架構 (Software Stack),理論上只新增一層 software layer 會比虛擬化成本低廉。

雖然 Wine 計劃經過十幾年發展,但是市面上目前為止沒有任何書籍介紹 Wine 及其程式架構,開發者只能參考少數幾份線上文件Wiki 來理解 Wine 的程式架構。本文稍加介紹 Wine 的相關設計。

軟體架構與初始化簡介

根據 Wine Developer’s Guide,軟體架構如下

要在 UNIX 中模擬一個 Windows® 作業系統,有許多差異需要克服,且 Wine 為了開源授權的合法性,並不對 Windows® 本身進行反組譯,而是用黑箱測試法所開發出來,並參照開發文件逐步實做所有的 Win32 APIs。問題在與 Win32 API 文件並沒有完全開放,不同版本作業系統間,也有些微行為上的差異。然而 Windows® 有著為數不少缺乏文件的 APIs. 甚至錯誤的 API 反應等等,Wine 都需要一一的實踐。加上仍有一些未開放的低階 API,以及一些缺乏文件的協定或設計,Wine 計劃可以說是以血淚走過來的開發工作。

以 Wine 模擬 Windows® 最重要的功能之一就是 Wine server, 它基本上是提供作業系統核心模擬的功能,負責 Inter-Process Communication (IPC), synchronization 與 process/thread management 等等工作。Wine server 是一個獨立的程序,每次啟動任何 Windows 程式前,它會優先被叫起。若出現了什麼問題,也要確保砍掉 (kill) 它後,才能乾淨的重新執行。

而在 Wine preloader 載入 .COM / NE / DLLPE 前,由於每個程序都將使用自己的記憶體空間,Wine 要先依照不同的執行檔格式需求建立 Memory layout,為了能夠在 Linux 中製造出跟 Win32 一樣的記憶體位置,除了試圖將相關的 DLLs 載到正確的記憶體位置 。Wine 也要避免 dynamic linker 預先把 Wine 所需的函式庫配置 (mapping) 到錯誤的位址,於是修改預設的 ELF 初始化程序,以 syscall 將相關的函式庫配置到正確的位置。

另外在 Windows® 中,每個 process 或 thread 有一塊資料結構稱做 Environment Block (PEB – Process Environment block or TEB – Thread Environment Block),這些資料中包含了 TLS slots, message queue, error code (SEH, Structured Exception Handling) 等等,這塊資料結構提供了 Windowing, Threading 以及錯誤處理等所需資訊。在建立 PEB/TEB 後,才初始化 process heap,載入執行檔,依照執行檔指示建立 stack,最後才將控制權交給執行檔的 EntryPoint

上述工作均由 NTDLL/KERNEL32 處置,NTDLL/KERNEL32 也會負責傳遞執行序資訊給 Wine Server. 至於啟動後的 Graphics Device Interface 與 X11 的圖形界面轉換由 GDI32 處理。 USER32 則實做 Windowing and Messaging subsystem. 像是一些狀態列顯示等功能,都已經實做完成。

例外一個值得一提的是錯誤處理的機制,在 Windows 上 exception handling 的方式比 Linux 中複雜許多。以 STATUS_ACCESS_VIOLATION / Segmentation fault 為例子,在 Linux 中只是吐一個 SIGSEGV 錯誤,在 Windows 中則會吐出一個 Exception,還會帶上錯誤位址 (faulting address) 等資訊,也可在 SEH 中指定 handler function 來處理錯誤事件。在 Linux 中,並沒有所謂的 system exception interface,Wine 為了模擬出 Windows 的錯誤處理機制,是將 exception 轉為 signal 來模擬。

除了上述幾個主要的核心程式外,Wine 也實做了許多軟體原件,像是 CryptographyDirectShow FrameworkDirect3D shader -> GL mapper, Network protocol stacks, DirectSound (ALSA, OSS), DirectInput, DirectShow, DirectDraw, Direct3D 等等。甚至連 MSHTML / IE 都已經以 Gecko Engine 實做。

目前 Wine 在編譯時 已經支援 64 bits 也支援 WoW64 來跑 32 bits 程式。

開發模式

Wine 是用 git 管理,任何人都可以隨意 commit patches, test cases 到 patches mailing list 上,經過公開的 code review 後就會再下一次 release 中被合併。如果有任何技術上的疑問,則會被提到開發論壇進行討論,有歧異或暫時無法解決的問題,會被彙整到問題追蹤系統中,是相當透明開放、平等的開發模式。

由於 Wine 是完全重製 Win32 APIs, 且是黑箱測試開發模式,難免會出現修東壞西的悲慘現象。為了避免舊問題在新版中重現,Wine 設計了一套測試方法,來作 Regression Testing,藉此確保軟體品質。不過這個方法只能測試功能性的問題,難免還是避免不了一些圖形界面的變異。

Wine 計劃授權原本是採用 MIT,但在市場高度期待,出現了數家不同的公司為不同的平臺提供服務,社羣為了避免多家營利公司商業競爭造成開發資源分散,2002 三月後已經改成 LGPL.

也由於授權開放,Wine 的開發成果如 D3D 也被整合到 VirtualBox 中。另外像是想重新實做開源Windows® XP/2003 的 ReactOS 計劃,其軟體層也使用 Wine Libraries。一般開發者也可以用 Winelib 作為跨平臺的函式庫,在 Linux 上將程式移植到 Win32 平臺上。 (類似 mingw)

目前在 Linux 上,Wine 對於音效支援,只有 OSS 與 ALSA。社羣已有 PulseAudio,但由於開發團隊策略上的考量,希望朝向支援 OpenAL 的方向,因此尚未被整合到官方版本。至於在 MacOS 上,其圖形界面驅動程式還是 winex11.drv ,需要使用 X Server 才能使用,OS X 上 的 Quartz 在 2010 時曾經有一部分實做,但已停止開發,功能也暫時無法使用。

使用現況

目前 Wine 計劃處在一個尷尬的狀態。Wine 已經完成很大部分的 Win32 Libraries. 但仍有尚未實做的部分,為了能夠順利使用,使用者仍必須使用 Microsoft  函式庫 (以下稱為 native)。又因為已高度實做 Wine 的函式庫 (以下稱為 build-in)往往有不相容 native 函式庫的問題。也因此使用者現階段而言並不容易只使用一套 Wine 設定來套用所有的 Win32 應用程式。

結局就是造成使用 Wine 執行 Win32 程式時,常需要搭配不同的函式庫。例如這一版本需要 native 的 yyy.dll 配合 build-in 的 zzz.dll,另外一套軟體卻可以只用 build-in dll 執行。

如果軟體出現相容性問題,不再像初期一樣,只要靠換 Win32 Libraries 就可以排除,因為每個原生函式庫有高度相依性。由於安裝軟體時,常常需要用到一些 Microsoft 的程式碼,或者偶爾也許要微調一下 Windows Registry Keys 才能順利安裝。因此常需要透過特定到程序才能成功安裝,因此網路上有許多第三方工具。最常用也最知名的就是 Winetricks.

雖然 Wine 已經開始有些像是 PicasaTeamViewer 等等的商用軟體應用,以 Wine 直接提供原生 Win32 程式給 Linux 平臺。但他們的做法,都是隨贈一套已調整完成的 Wine 系統。

由於 Wine 執行環境可以安裝在不同的 sandbox,因此系統中可以有多套不同的 Wine 同時執行。這種技巧叫做 bottle. 使用者可以透過不同的環境變數,來設定 Wine 所要使用的設定檔路徑,載入 Win32 程式時,也會啟動不同的 wine server,不同的 bottle 會是獨立的執行環境,可作不同設定或安裝不同版本的函式庫。

使用者可以透過環境變數或第三方工具,來測試配置各種不同的軟體,在 Linux 上可以使用今年剛發表的 wibom。在 MacOS 平臺上,由於編譯的困難性,可以使用 Wineskin 之類的工具來協助安裝管理 Win32 系統。此外,像是 CrossoverBordeaux 等公司也提供商業版的友善界面與預先調整好的安裝工具等服務。

Appdb 上已經有眾多程式資料,何不試試能否在 Linux 執行看看你最喜歡的 Windows 程式呢? 🙂

開源工具現狀

許多開發者都有介入中大型專案的經驗,常必須試圖理解原始程式的設計,或多或少都有在程式碼迷宮中找路的經驗。有些專案,程式碼結構嚴謹,軟體設計應用 Design Patterns. 見名稱、參數即可推斷程式結構,閱讀如沐春風。

但若碰到未經重構的成年老專案,程式邏輯因為年久失修,塞滿各個開發階段的臨時解決方案,常常已經複雜到難以一眼望穿理解。若是像記憶力虛弱如我,常常追了後面幾千行、跳了三個檔,就忘了前面幾個檔案的函式名稱。於是常常輔助紙本畫流程圖,但是手繪圖往往不敵跳來繞去的程式碼邏輯。還是得靠程式碼解析視覺化工具來協助理解。

繪製 Call Graph 的工具非常多,一般可以分作 Dynamic analysisStatic analysis 兩種做法。在臺灣,最知名的商業版本工具,大概是 Source Insight。不過我不用 Windows,對於缺乏原始碼的開發工具興趣也不大。

開源的 Dynamic analysis 有像是 Jserv 介紹過CodeViz 或是 ncc。不過這類工具需要 patch gcc,不特別適合嵌入式系統專案。因爲原始碼常常只支援特定平臺,或是無法取得編譯工具原始碼,此外不同版本的 compiler 偶爾會造成不同的問題,造成使用上的困難。

一種比較乾淨的做法是像 KCachegrind 利用 valgrind 來收集資料,或 Gprof2Dot 利用 gprof 的輸出資料。再者是利用 gcc 的除錯功能,把 internal representation (RTL) 倒出來,再用egyptPython-RTL 來判讀或繪圖。

至於 Static analysisFred Chien 介紹過cflow 或是 Doxygen 也有類似的繪圖功能。也有工具是配合 cscopeglobal,例如有人幫 CScope 刻過圖形界面,Vim 有個 CCTree 可用。

CallGraphviz

以上這些工具各有優缺點。

最常見的問題是許多工具無法處理 function pointer / dynamic dispatch,最終還是要人力介入。另外一個使用上的困擾是,這些程式會一口氣畫出整個程式碼的結構圖。

太多資訊其實妨礙理解,因爲用途常常只是追一個臭蟲,程式開發者只想畫出特定路徑來釐清問題。而context-sensitive 的 call graph 測試工具又耗費資源。

若用 CodeLite, Code Blocks , Eclipse CDT 等開發工具,工具已經內建或整合 cscope /global,提供 symbol lookup 功能,於是開發者很容易用滑鼠查閱函式定義或實做,或也可以搭配 LXR 來瀏覽程式碼。已經不需要像是 cbrowser 專屬的程式碼瀏覽工具

所以需要的是可以手動的將目前程式情境視覺化的工具,網路上已經有其他開發者做了 Bash: C Call Trees and Graphs 或是 Global-calltree。或是像 ypwang方法,記錄函式進出點,再手動繪圖。

這些工具大多是整合 shell scripts,操作上有點不便。另外我也不喜歡 Call Tree 的圖式,因爲樹狀圖無法表現遞迴或交互關係。

於是查找一下,決定拿 cscope 加上 GraphvizDOT 語法來用,改了一個 CallGraphviz。它的功能是一個 Graphviz 前端,後端還是使用 cscope 查 symbols,為了可以即時瀏覽就拿了 xdot 當作界面。xdot 是以 PyGtk 開發,非常容易更改,不到三百行就加入我需要的功能。
 

使用方法

  • python visualizer.py
  • 按下 “New”, 選擇要分析 C/C++ 專案目錄。
  • 於 “Search symbol” 鍵入要追蹤的函式名稱。
  • 每次鍵入新名稱,他會自動對應圖中已輸入函式是否爲 caller or callee,並自動畫圖。

CallGraphviz 可以將繪圖結果存成 dot 格式檔案,然後再利用 dot 指令轉換格式。不過它只是把曾經查過的名稱記錄起來,開啟時重新查 cscope 而已,若圖大時,每次開啟可能會十分緩慢。

原始碼可於 github 下載,授權採用 GNU Lesser General Public License.

延伸閱讀
Python Call Graph

Firefox 4.0 出來之後,一直沒有抽時間出來更新 CertAlert,不過最近看到 AT&T 上的 Facebook 流量莫名被轉到中國南韓去,似乎有某種暗黑勢力蠢蠢欲動。

頗擔心 CNNIC 有惡意作為,稍微更新了 CertAlert,讓它支援 Gecko 2.0 XPCOM API,可以裝在 Firefox 4.0 上。新版安裝檔可以於 github 下載。

Mozilla 官方 AMO 因爲疏於更新,暫時被拿下來了,將重新上傳等官方審閱後即可再次下載。

2011-03-29 01:30

官方 AMO 已經重新開放安裝,仍於申請審閱程序中。