ns3gym rltcp代码梳理（二） tcp-rl-env

tcp-rl-env

• 实际上它就是RL中的环境的定义，只不过ns3-gym中的环境还包括拓扑的搭建（）
• 他这个类的作用就辅助python中的代码可以像调用gym环境一样去调用环境的接口(get_action、step之类的)

OpenGymEnv

• tcp-rl-env里面所有类的基类，抽象类，主要是定义了官方要的七个接口，都是纯虚函数，毕竟opengym_interface也等着调用呢！
  
• 还有一些别的函数和属性

* SetOpenGymInterface( )
* Notify ( )
* NotifySimulationEnd( )
* Ptr<OpenGymInterface> m_openGymInterface;

• 接口接口，那么都接去哪儿了呢？从哪儿接啊——OpenGymInterface

NotifySimulationEnd（）和Notify（）

• 调用的OpenGymInterface的里面对应的函数

SetOpenGymInterface

• 调用的OpenGymInterface里面的函数，把OpenGymInterface的回调函数设置成自己类里面的一系列

void
OpenGymEnv::SetOpenGymInterface(Ptr<OpenGymInterface> openGymInterface)
{
  NS_LOG_FUNCTION (this);
  m_openGymInterface = openGymInterface;
  openGymInterface->SetGetActionSpaceCb( MakeCallback (&OpenGymEnv::GetActionSpace, this) );
  openGymInterface->SetGetObservationSpaceCb( MakeCallback (&OpenGymEnv::GetObservationSpace, this) );
  openGymInterface->SetGetGameOverCb( MakeCallback (&OpenGymEnv::GetGameOver, this) );
  openGymInterface->SetGetObservationCb( MakeCallback (&OpenGymEnv::GetObservation, this) );
  openGymInterface->SetGetRewardCb( MakeCallback (&OpenGymEnv::GetReward, this) );
  openGymInterface->SetGetExtraInfoCb( MakeCallback (&OpenGymEnv::GetExtraInfo, this) );
  openGymInterface->SetExecuteActionsCb( MakeCallback (&OpenGymEnv::ExecuteActions, this) );
}

opengym_interface

class OpenGymSpace;		//Space类
class OpenGymDataContainer;	//数据存储(比如说Observation的值得存储)
class OpenGymEnv;

init（）

• 创建一个ns3opengym（which使用了zmq等通信框架），把信息（obsSpace和actionSpace的初始化信息）通过ns3opengym传递给python并设置m_initSimMsgSent为真
• 然后收python那边传来的ACK
  
  

NotifyCurrentState（）

• 把ns3这边的数据收集起来( Obersavation、reward、Done(IsGameOver)、ExtraInfo )传递给python
  
  

IsGameOver

• 返回gameOver或者m_simEnd
  
  

NotifySimulationEnd

• 应该是再模拟结束的时候调用?
• 设置m_simEnd为真
  • 结束有两种方式，一种就是仿真时间到了，一种就是IsGameOver返回True
• 如果m_initSimMsgSent为真
  
  

OpenGymInterface（uint32_t port）

• 初始化一些属性

m_port(port), m_zmq_context(1), m_zmq_socket(m_zmq_context, ZMQ_REQ),
  m_simEnd(false), m_stopEnvRequested(false), m_initSimMsgSent(false)

DoGet（uint32_t port）和 Get( uint32_t port )

• 使用单例模式返回一个interface的ptr

WaitForStop()

• 调用NotifyCurrentState()
  
  

NotifySimulationEnd（）

• 设置m_simEnd为真
• 如果已经初始化发过信息(m_simEnd为真)，调用m_simEnd
  
  

Notify()

• 设置回调函数（设置成OpenGymEnv 的一系列动作）

  SetGetGameOverCb( MakeCallback (&OpenGymEnv::GetGameOver, entity) );
  SetGetObservationCb( MakeCallback (&OpenGymEnv::GetObservation, entity) );
  SetGetRewardCb( MakeCallback (&OpenGymEnv::GetReward, entity) );
  SetGetExtraInfoCb( MakeCallback (&OpenGymEnv::GetExtraInfo, entity) );
  SetExecuteActionsCb( MakeCallback (&OpenGymEnv::ExecuteActions, entity) );

TcpGymEnv [ 还是个抽象类 ]

• 继承OpenGymEnv ，所以一定要实现那OpenGymInterface对应的七个接口

• 还要求了另一些多的接口

  • track packet

  * TxPktTrace（）
  * RxPktTrace
  

  • TCP拥塞控制算法

  GetSsThresh()
  IncreaseWindow()
  PktsAcked()
  CongestionStateSet()
  CwndEvent()
  

• 还有一些属性用于记录AGENT

m_nodeId  哪个节点是AGENT 
m_socketUuid 这个节点上的哪个socket

TcpEventGymEnv

• 继承TcpGymEnv

TcpTimeStepGymEnv

• 继承TcpGymEnv