FileZilla客户端源码解析

FileZilla客户端源码解析

  FTP是TCP/IP协议组的协议,有指令通路和数据通路两条通道。一般来说,FTP标准命令TCP端口号是21,Port方式数据传输端口是20。

  FileZilla作为populate open source project,自然也有指令通路和数据通路。然而,FileZilla源码极少有注释,网上参考资料也寥寥无几。FileZilla用的到类库多且复杂(客户端wxWeidgets、GnuTLS、sqlite3、GNU IDN Library - Libidn,服务端boost、zlib),模式也不易理解(proxy模式、改编CAsynSocket的CAsynSocketEx、layer等)。想要完全搞懂FileZilla的细节似乎是件很困难的事情。好在我只需了解里面核心代码的工作原理,能封装为己所用即可。

  FileZilla官方论坛回答提问时指出,engine工程重点是ControlSocket.h和transfersocket.h,显然,一个对应ftp控制,另一个对应数据传输。interface工程重点是Mainfrm.h、state.h、commandqueue.h(出于效率考虑,很复杂)。engine工程其他重点类有 CServer, CServerPath, CDirectoryListing, COptionsBase,客户端interface工程其他重点类有 COptions。此外,客户端interface定义了资源文件dialog.xrc和menu.xrc(这两个用wxWidgets资源编辑器打开。用文本打开也可以,内容是xml格式)。该论坛链接地址为https://forum.filezilla-project.org/viewtopic.php?f=3&t=8443。截图如下

FileZilla客户端源码解析

1  command指令相关

1.1  CCommand指令类,头文件:commands.h,工程:engine,性质:抽象类、虚基类

  CCommand及其基类定义了ftp指令实体,是CCommandQueue操作的基本单元。例如:

 m_pCommandQueue->ProcessCommand(new CConnectCommand(server));
m_pCommandQueue->ProcessCommand(new CListCommand(path, _T(""), LIST_FLAG_FALLBACK_CURRENT));

  表示向CCommandQueue队列末尾插入连接指令CConnectCommand和获取文件列表指令CListCommand。

  CCommand子类由宏DECLARE_COMMAND定义,DECLARE_COMMAND定义的子类是实现了CCommand的纯虚函数GetId和Clone,实现如下:

 // Small macro to simplify command class declaration
// Basically all this macro does, is to declare the class and add the required
// standard functions to it.
#define DECLARE_COMMAND(name, id) \
class name : public CCommand \
{ \
public: \
virtual enum Command GetId() const { return id; } \
virtual CCommand* Clone() const { return new name(*this); }

  ccommand子类列表如下:

FileZilla客户端源码解析

  类图如下:

FileZilla客户端源码解析

1.2  CCommandQueue客户端命令队列,头文件:commandqueue.h,工程:engine,性质:客户端命令缓存操作

  CCommandQueue用作为CCommand基类的缓存操作,内部维护了list列表 std::list<CCommand *> m_CommandList。基本操作如下:

 void ProcessCommand(CCommand *pCommand);    //入队操作
void ProcessNextCommand(); //向m_pEngine提交command请求
void Finish(COperationNotification *pNotification); //CMainFrame的OnEngineEvent函数收到服务端nId_operation确认指令后,执行出队操作,并调用ProcessNextCommand

  以点击QuickConnect按钮为例,简单说一下上面3个函数的调用关系。QuickConnect将向队列顺序插入connectcommand和listcommand。connnect是list的基础,没有TCP连接自然不可能取回服务端列表信息,connect先入队,list后入队。

  入队操作ProcessCommand没什么好说的,源码如下,如果队列长度为1,取出首元素进行ProcessNextCommand处理。

 void CCommandQueue::ProcessCommand(CCommand *pCommand)
{
m_CommandList.push_back(pCommand);
if (m_CommandList.size() == )
{
m_pState->NotifyHandlers(STATECHANGE_REMOTE_IDLE);
ProcessNextCommand();
}
}

  ProcessNextCommand,内部用while取出列表第一个元素,提交一个command请求,也就是connect command,实现代码为:

int res = m_pEngine->Command(*pCommand);

  m_pEngine内部调用Windows socket函数WSAEventSelect发送connect请求(socket.h/cpp内实现),由于是异步调用,无法立即得到响应,返回FZ_REPLY_WOULDBLOCK(等价于WSAEWOULDBLOCK,定义在commands.h),并退出while循环。当list请求入队时,ProcessCommand监测到当前队列有两个元素,则直接返回。List command将待在connect command后,直至获取到服务端对connect的确认后,再进行m_pEngine->Command操作。

  客户端收到服务端确认后,CMainFrame::OnEngineEvent将收到通知NotificationId(notification.h/cpp)。如果通知为nId_operation类型,将调用Finish。在finish内部,将对nId_operation的返回值进行判断,如果返回FZ_REPLY_OK(服务端确认连接),执行以下代码:

 void CCommandQueue::Finish(COperationNotification *pNotification)
{
...
CCommand* pCommand = m_CommandList.front();
...
else if (pCommand->GetId() == cmd_connect && pNotification->nReplyCode == FZ_REPLY_OK)
{
m_pState->SetSuccessfulConnect();
m_CommandList.pop_front();
}
...
ProcessNextCommand();
}

  取出队列首元素并判断类型,如果是connect command且通知回传FZ_REPLY_OK,则表示connect成功,将首元素移出队列,ProcessNextCommand取出首元素(此时应当是list command),提交m_pEngine->Command请求,进行下一个command循环。如果客户端收到服务端对list请求的处理后,将list command出队,队列为空。

2  通知消息相关

2.1  CNotification通知类,头文件:notification.h,工程:engine,性质:抽象类、虚基类

  CNotification及其基类定义了服务端数据解析后的通知消息。这类消息将回传给CMainFrame,CMainFrame的OnEngineEvent函数接收到消息后,根据消息id参数NotificationId判断消息类型,并进行处理。NotificationId定义在notification.h,其子类和消息含义定义如下:

FileZilla客户端源码解析

  类图如下:

FileZilla客户端源码解析

2.2  Notification通知传递路径

  FTP使用TCP通信,底层自然是socket。客户端收到服务端数据后,将收到的字节流逐层转化成CNotification和其他结构。为方便理解CNotification,避免陷入wsWidgets底部的事件通知(FileZilla底层socket使用wsWidgets的event handler来处理事件,我不懂wsWidgets,花了很长时间才梳理清楚关系),我从CMainFrame对CNotification的处理开始介绍。

2.2.1  CMainFrame的OnEngineEvent函数,头文件:Mainfrm.h,工程:FileZilla,性质:CNotification对客户端处理函数

  看一下OnEngineEvent函数的主要结构:

 void CMainFrame::OnEngineEvent(wxEvent &event)
{
CNotification *pNotification = pState->m_pEngine->GetNextNotification();
while (pNotification)
{
switch (pNotification->GetID())
{
case nId_logmsg:
m_pStatusView->AddToLog(reinterpret_cast<CLogmsgNotification *>(pNotification));
if (COptions::Get()->GetOptionVal(OPTION_MESSAGELOG_POSITION) == )
m_pQueuePane->Highlight();
delete pNotification;
break;
case nId_operation:
pState->m_pCommandQueue->Finish(reinterpret_cast<COperationNotification*>(pNotification));
if (m_bQuit)
{
Close();
return;
}
break;
case nId_listing:
case nId_asyncrequest:
case nId_active:
case nId_transferstatus:
case nId_sftp_encryption:
case nId_local_dir_created:
default:
delete pNotification;
break;
}
pNotification = pState->m_pEngine->GetNextNotification();
}
}

  switch分支对通知类型作判断,如果是nId_logmsg通知,则用AddToLog函数(CStatusView类,StatusView.h,FileZilla工程)取出通知的文本数据,并在客户端界面上输出。如果是nId_operation通知,则表明CCommandQueue的头元素command已得到服务端确认,调用CCommandQueue的Finish函数将头元素出队,在Finish内部,投递下一个cmmand请求(见1.2节介绍)。其余消息类型没有验证,这里就不写了。

2.2.2  CFileZillaEnginePrivate类AddNotification函数,头文件:engineprivate.h,工程:engine,性质:管理CNotification队列,触发CMainFrame的OnEngineEvent函数

  CFileZillaEnginePrivate类功能很多也很重要,这里只讲与CNotification队列相关的内容。CFileZillaEnginePrivate类内部维护了CNotification队列m_NotificationList。底层服务通过调用CFileZillaEnginePrivate类的AddNotification函数向m_NotificationList内插入通知。AddNotification定义如下:

 void CFileZillaEnginePrivate::AddNotification(CNotification *pNotification)
{
m_lock.Enter();
m_NotificationList.push_back(pNotification); if (m_maySendNotificationEvent && m_pEventHandler)
{
m_maySendNotificationEvent = false;
m_lock.Leave();
wxFzEvent evt(wxID_ANY);
evt.SetEventObject(this);
wxPostEvent(m_pEventHandler, evt);
}
else
m_lock.Leave();
}

  在AddNotification内部,使用bool变量m_maySendNotificationEvent控制向CMainFrame发出wxPostEvent调用,该调用将触发CMainFrame的OnEngineEvent函数。而在CMainFrame的OnEngineEvent中,将循环从通知队列取出通知,直到队列为空时,m_maySendNotificationEvent又变成了true。该控制方式和CCommandQueue类似。

2.2.3  CFtpControlSocket类OnSocketEvent函数,头文件:ftpcontrolsocket.h,工程:engine,性质:control socket的实体类,CSocketEvent事件分类

  CFtpControlSocket是CRealControlSocket子类,后者又是CControlSocket的子类,CControlSocket和CRealControlSocket定义了一些接口,由CFtpControlSocket实现。CFtpControlSocke继承CRealControlSocket的OnSocketEvent函数被底层socket调用,用于对底层socket event的分类处理。OnSocketEvent代码如下:

 void CRealControlSocket::OnSocketEvent(CSocketEvent &event)
{
if (!m_pBackend)
return; switch (event.GetType())
{
case CSocketEvent::hostaddress:
{
const wxString& address = event.GetData();
LogMessage(Status, _("Connecting to %s..."), address.c_str());
}
break;
case CSocketEvent::connection_next:
if (event.GetError())
LogMessage(Status, _("Connection attempt failed with \"%s\", trying next address."), CSocket::GetErrorDescription(event.GetError()).c_str());
break;
case CSocketEvent::connection:
if (event.GetError())
{
LogMessage(Status, _("Connection attempt failed with \"%s\"."), CSocket::GetErrorDescription(event.GetError()).c_str());
OnClose(event.GetError());
}
else
{
if (m_pProxyBackend && !m_pProxyBackend->Detached())
{
m_pProxyBackend->Detach();
m_pBackend = new CSocketBackend(this, m_pSocket);
}
OnConnect();
}
break;
case CSocketEvent::read:
OnReceive();
break;
case CSocketEvent::write:
OnSend();
break;
case CSocketEvent::close:
OnClose(event.GetError());
break;
default:
LogMessage(Debug_Warning, _T("Unhandled socket event %d"), event.GetType());
break;
}
}

  例如,当收到事件类型为CSocketEvent::hostaddress时,LogMessage内部会调用AddNotification函数插入事件通知。收到CSocketEvent::read,会调用CFtpControlSocket的OnReceive接收消息,OnReceive内部解析服务端数据后会调用AddNotification。

2.2.4  CSocketEventDispatcher,头文件:socket.h,工程:engine,性质:socket 事件分发

   CSocketEventDispatcher实现了底层socket事件的分发,CSocketEventDispatcher内部维护了一个CSocketEvent列表m_pending_events。CSocketEventDispatcher基于singleton模式实现,唯一的外部访问接口是CSocketEventDispatcher::Get()函数,这意味着所有的socket event都由一个m_pending_events管理。CSocketEventDispatcher类定义如下:

 class CSocketEventDispatcher : protected wxEvtHandler
{
public:
void SendEvent(CSocketEvent* evt); //加入一个CSocketEvent
void RemovePending(const CSocketEventHandler* pHandler); //移除一个与CSocketEventHandler关联的SocketEvent
void RemovePending(const CSocketEventSource* pSource); //移除一个与CSocketEventHandler关联的SocketEvent
void UpdatePending(const CSocketEventHandler* pOldHandler, const CSocketEventSource* pOldSource, CSocketEventHandler* pNewHandler, CSocketEventSource* pNewSource); //修改SocketEvent内容
static CSocketEventDispatcher& Get(); //singleton访问接口
private:
CSocketEventDispatcher();
~CSocketEventDispatcher();
virtual bool ProcessEvent(wxEvent& event); //m_pending_events不为空的话,取出首元素,处理,调用OnSocketEvent
std::list<CSocketEvent*> m_pending_events; //socketEvent列表
wxCriticalSection m_sync; //互斥访问锁
static CSocketEventDispatcher m_dispatcher;//全局唯一实例
bool m_inside_loop;
};

  底层socket会调用CSocketEventDispatcher::Get().SendEvent(evt)函数向dispatcher加入socket event,由于低层socket(socket.h/cpp)内部使用了wxWidgets线程和事件管理,这里就不介绍了。有兴趣的可以在工程内搜索一下CSocketEventDispatcher::Get().SendEvent关键字,自行了解。

3  FileZilla客户端FTP控制指令流程

  综合所述,FileZilla客户端与服务端控制指令通信的流程大致如下:

  1:CCommandQueue的ProcessCommand函数提交command请求到command队列,如果command队列长度为1,则调用ProcessNextCommand处理首条command。

  2:ProcessNextCommand利用CFileZillaEngine的Command函数对请求进行分类处理,并提交到底层socket。

  3:底层socket利用异步通信WSAEventSelect向服务端发出请求。

  4:未收到服务端确认前,CCommandQueue首元素不出队,其余command请求暂停投递。

  5:底层socket收到服务端数据,底层socket调用CSocketEventDispatcher::Get().SendEvent将socket event加入socketevent队列

  6:SendEvent内部调用AddPendingEvent,触发ProcessEvent对socket event队列进行处理

  7:ProcessEvent判断队列是否为空,非空调用OnSocketEvent

  8:OnSocketEvent(由CSocketEventHandler的子类实现,如CFtpSocketControl)对socket event类型进行判断,logmsg解析、send、recv等操作,然后调用CFileZillaEnginePrivate类的AddNotification函数向m_NotificationList通知队列内插入操作结果Notification。

  9:AddNotification内部构造wxID_ANY消息,并post该消息到CMainFrame。

  10:CMainFrame的OnEngineEvent函数对nofication的ID进行判断,例如,logmsg通知,则打印信息。nId_operation,则将CCommandQueue首元素出队,取出下一个元素,投递请求。

  附上几个关键类的类关系图:

FileZilla客户端源码解析

4  FTP数据上传数据

  回顾1.1节,有command子类CFileTransferCommand,可以猜想,数据上传必然和此类有关。在QueueView.cpp的SendNextCommand内下断点,进入

 nt res = engineData.pEngine->Command(CFileTransferCommand(fileItem->GetLocalPath().GetPath() + fileItem->GetLocalFile(), fileItem->GetRemotePath(),    fileItem->GetRemoteFile(), fileItem->Download(), fileItem->m_transferSettings));

  给Engine提交filetransfile请求。进入FileZillaEngine后,调用FileTransfer函数,将请求提交给ControlSocket处理。

Engine工程预编译设置:

1:threadex.cpp和socket.cpp文件设置Not Using Precompiled Headers

2:FileZillaEngine.cpp设置为FileZilla客户端源码解析

3:其余cpp设置为:FileZilla客户端源码解析

1

上一篇:Koa源码解析


下一篇:设置ZooKeeper服务器地址列表源码解析及扩展