史上最烂的网卡 Broadcom 5709

  新买的 Dell R610 服务器,发现经常性的网络不通,有时在千兆下速度能上 80MB/s 但是大多数都是百K级别

  作为 Client 去连接其他机器一直似乎没有问题,但是一旦当了 Server,被动接受请求后发送的数据,就会波动非常大

先前同架位上的 Dell1850 with Intel Pro 网卡则没有任何问题

Google 了一下,发下如下解决方案,做了之后依然无解

  • 升级网卡固件
  • 更换官方驱动
  • 更换 Dell 官方发布的驱动

后来发觉也许是 64 位 Debian 的问题,就去 RH 上申请了一个 30 天 trial

32 位 RHEL 5.4 问题依旧,于是致电 Dell 客服后发现给的答复和上面的差不多,但是多了一条

  • 禁用 MSI

  但是通过 dmesg 发现,MSI 还有一个扩展是 MSIX,如果禁用之,则会导致虽然能建立网络上的 arp 表,但是没有任何流量,无法 ping 通

升级了交换机的固件,换了网线还是一样

最后 Dell 的技术人员又来了一通电话,说这个是因为驱动的问题,让我留意一下新的驱动

BCM 啊,你要是这样的话,下次我绝对选 Intel 的网卡了

==============

  上周去 Dell 支持转悠了一圈,发现果然 Dell 在 15 日更新了版本号为 5.0.12 的固件(先前为 5.0.9)和版本号为 14.1.5, A00 的驱动(先前为 v.14.1.0, A01)

其中网卡的 Release Notes 如下

Issues fixed in this release:

– Kernel panic with iSCSI HBA drivers while performing cable pull test with MPIO on RHEL5.4
– SUT kernel panics with iSCSI HBA drivers during heavy network traffic
– Kernel panic with RHEL 5.4 during logout with iscsi-initiator-utils-6.2.0.871-0.10c
– Improved small packet performance
– Updated firmware resolves header digest error during I/O
– Improved performance with Flow Control disabled
– Added support Broadcom quad port 5709 adapters and Broadcom 10G 57711 adapters

固件的 Release Notes 如下

Syncronizes the boot code to the new driver set.
Adds support for 5716 based controllers.
Adds support for 57711 based controllers.
Adds support for IPv6 iSCSI Boot for 5709, 57710 and 57711 based network adapters.
Updates NCSI on NX2 Management Enabled LOMs.
Firmware update for Broadcom NetXtreme II based network devices, update to Family version 5.0.12 consisting of:
Boot code: 5.0.4 (5708S and C), 5.0.11 (5709,57710), 5.0.13 for 57711 and 3.11 (5722)
Multi-Boot Agent (add-in NICs only, LOM MBA code may differ): 5.0.8 (5708 and 09), 5.0.21 (57710 and 11), 12.2.5 (5722)
UMP (5708 only): 1.1.9
IPMI (5708 only): 1.06
iSCSI Boot (all): 4.1.6
NCSI (5709 and 5716 LOMs only): 2.0.5

到25日为止,4天过去了

目前问题似乎是解决了,没有发生出的流量 hung up,继续观察中

==============

2010年4月20日更新,发现新固件,Release date为 2010/3/31

其版本为 5.0.13, A13

更新说明如下

Broadcom NetXtreme 1 and NetXtreme 2 device firmware Dell Update Package.
This package combines the NX1 and NX2 firmware update into one single package.
This release provides updated iSCSI boot code for all supported devices; updated PXE code for all supported devices; updated NCSI code for 5709 and 5716; and updated boot code for 5709, 5716, 57710 and 57711 based devices.

补丁说明如下

Fixes an NCSI issue on 57711 based LOMS where DHCP addresses may not be obtained in Red Hat Linux when the DHCP server is also Linux.

11 Comments

  1. liutu

    呵呵,不是他背,全部都有问题,流量一大就down
    打电话咨询一个DELL资深工程师,一听到这个现象就嘿嘿的笑~~~

  2. Lyndon

    使用Linux-like OS本來就不建議使用Intel以外的網卡, 只能說您自找苦吃…如果是Windows OS, 5709有TOE, ISCSI offload, 效能不會比Intel網卡差…

    • 之前真的沒有想過會出現這個問題,因為在我印象中,Broadcom 算是一家很大的網卡廠商了,出現這種問題,真的是 Orz

      當時真的是急的想罵三字經的說

      以後還是盡量避開他家的網卡好了

  3. fuyic

    5709 这个卡确实有问题,经常跑着跑着突然就断了没流量了,肯定是有问题的。

Leave a Reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.