1) Хэндл окна передается не для меню, а для перехвата событий связанных с окном. PBP_CFG - передает плагину строку (все вроде расписано), в которой параметры для настройки плагина, тот в свою очередь возвращает эти же настройки если они корректны или по умолчанию, если что-то не так. Чтобы сделать поддержку сторонних менюшек, нужно расширить плагин, в принципе - могу сделать позже, это не сложно.
2) Неправильно - джойстик передает 16 бит.
3) Распределение кнопок джоя видно в стандартных настройках эмуля. "В event.h написано" - там программный интерфейс, а здесь аппаратный, поэтому есть отличия.