ในห้อง Data Center หากต่ออุปกรณ์อย่าง Server, Storage, Firewall หรือ Switch เข้ากับ Leaf Switch ด้วยสายเพียงเส้นเดียว ลิงก์นั้นจะกลายเป็น Single Point of Failure ทันที ไม่ว่าสายหลุด พอร์ตเสีย หรือ Leaf ตัวนั้นต้อง Reboot เพื่อ Upgrade Firmware อุปกรณ์ก็หลุดจากระบบได้ งานติดตั้งส่วนใหญ่จึงต่ออุปกรณ์สำคัญด้วยสายอย่างน้อย 2 เส้น แล้วรวมเป็นลิงก์เดียวด้วย Port Channel (PC) หรือ Virtual Port Channel (vPC) ซึ่งได้ทั้ง Bandwidth ที่เพิ่มขึ้นและเส้นทางสำรองในคราวเดียว
สำหรับคนที่คุ้นกับ Switch แบบเดิม การทำ Port Channel ใช้คำสั่งเพียงไม่กี่บรรทัด แต่บน Cisco ACI ทุกอย่างถูกกำหนดผ่าน Policy บน APIC ตั้งแต่ Port Channel Policy, Interface Policy Group ไปจนถึง Interface Profile และ Switch Profile คนที่เพิ่งเริ่มใช้ ACI จึงมักไม่แน่ใจว่าต้องสร้างอะไรก่อนหลัง และเมื่อเป็น vPC ก็ไม่ต้องสร้าง Peer-link หรือ Peer Keepalive เหมือน Nexus แบบ NX-OS อีกแล้ว เพราะ ACI ใช้ Fabric ทำหน้าที่นี้แทน
บทความนี้เริ่มจากทำความเข้าใจว่า PC และ vPC คืออะไร ต่างกันอย่างไร และควรเลือกใช้แบบใดในสถานการณ์ไหน จากนั้นไล่ขั้นตอนการตั้งค่าบน APIC ทีละขั้น ตั้งแต่จับคู่ Leaf ไปจนถึงการ Deploy EPG ลงบน PC/vPC ปิดท้ายด้วยวิธีตรวจสอบสถานะผ่าน CLI และปัญหาที่พบบ่อยในการใช้งานจริง
1. Port Channel และ vPC คืออะไร
Port Channel (PC) คือการรวมพอร์ตหลายพอร์ตบน Leaf ตัวเดียวกัน ให้เป็นลิงก์เสมือนเส้นเดียว (บางที่เรียก EtherChannel หรือ Link Aggregation) อุปกรณ์ปลายทางจะได้ Bandwidth รวมของทุกเส้น และถ้าเส้นใดเส้นหนึ่งขาด Traffic จะย้ายไปเส้นที่เหลือทันที ข้อจำกัดคือพอร์ตทุกเส้นอยู่บน Leaf ตัวเดียว ถ้า Leaf ตัวนั้นล่ม ลิงก์ก็หายทั้งหมด
vPC (Virtual Port Channel) คือการรวมพอร์ตจาก Leaf 2 ตัว ให้เป็น Port Channel เดียวกัน อุปกรณ์ปลายทางมองเห็นว่าตัวเองต่อกับ Switch ตัวเดียว ทั้งที่จริงสายแต่ละเส้นต่อคนละ Leaf ระบบจึงทนทั้งสายขาด พอร์ตเสีย และ Leaf ล่มทั้งตัว และยังใช้ลิงก์ทุกเส้นพร้อมกันแบบ Active/Active ได้
2. vPC บน ACI ต่างจาก vPC บน Nexus แบบเดิมอย่างไร
ใครเคยทำ vPC บน Nexus แบบ NX-OS จะคุ้นกับ vPC Domain, Peer-link และ Peer Keepalive บน ACI ไม่ต้องสร้าง Peer-link เพราะ Fabric ทำหน้าที่นี้แทน
สิ่งที่ต้องทำบน ACI มีแค่จับคู่ Leaf 2 ตัวให้เป็น vPC Pair ผ่าน vPC Explicit Protection Group ส่วนการสื่อสารระหว่าง Leaf คู่นั้นใช้เส้นทางผ่าน Spine ที่มีอยู่แล้ว
Leaf ที่จะจับคู่กันต้องเป็น Hardware รุ่นที่เข้ากันได้ เอกสาร Cisco ระบุว่า Generation 1 จับคู่ได้เฉพาะกับ Generation 1 ด้วยกัน ในการใช้งานจริงนิยมใช้ Leaf รุ่นเดียวกันทั้งคู่
3. เมื่อไรควรใช้ PC และเมื่อไรควรใช้ vPC
vPC เหมาะกับอุปกรณ์ที่ต้องการความพร้อมใช้งานสูง เช่น Database Server, Hypervisor, Storage, Firewall หรือ Switch เดิมที่ต้องเชื่อมต่อเข้า ACI สายแต่ละเส้นต่อคนละ Leaf อุปกรณ์จึงยังทำงานได้แม้ Leaf ตัวใดตัวหนึ่งล่มหรือต้อง Reboot เพื่อ Upgrade งาน Data Center ส่วนใหญ่จึงเลือก vPC เป็นแบบหลัก
PC เหมาะกับกรณีที่ต้องการเพิ่ม Bandwidth หรือกันสายขาด แต่อุปกรณ์ต่อสายได้กับ Leaf เพียงตัวเดียว หรือ Leaf ตัวนั้นไม่มีคู่สำหรับทำ vPC ข้อจำกัดคือถ้า Leaf ตัวนั้นล่ม ลิงก์ทั้งหมดจะใช้งานไม่ได้
ทั้ง PC และ vPC กระจาย Traffic ด้วยการ Hashing ตาม Flow โดย Flow เดียวกันจะวิ่งบนสายเส้นเดิมเสมอ ตัวอย่างเช่น รวมสาย 10G 2 เส้น ไม่ได้ทำให้การโอนไฟล์ Session เดียววิ่งได้ 20G แต่ทำให้รองรับ Traffic หลาย Flow พร้อมกันได้มากขึ้น และยังมีเส้นสำรองเมื่อสายเส้นใดเส้นหนึ่งขาดขึ้น
4. ขั้นตอนการตั้งค่า PC และ vPC
การตั้งค่า PC และ vPC ทำในส่วน Fabric Access Policies โดยใช้ Object ชุดเดียวกับการตั้งค่าพอร์ตทั่วไป ต่างกันแค่ 2 จุด คือชนิดของ Interface Policy Group และ vPC ต้องจับคู่ Leaf ก่อน ลำดับการตั้งค่าเป็นดังนี้
vPC Explicit Protection Group (เฉพาะ vPC) → VLAN Pool / Domain / AAEP → Port Channel Policy → Interface Policy Group (PC หรือ VPC) → Leaf Interface Profile → Leaf Switch Profile
4.1 ค่าที่ใช้ในตัวอย่าง
| Object | ชื่อตัวอย่าง |
|---|---|
| vPC Pair | Leaf 101 และ Leaf 102 (Logical Pair ID 1) |
| พอร์ตที่ใช้ | eth1/10 ของ Leaf ทั้ง 2 ตัว |
| Port Channel Policy | system-lacp-active |
| AAEP | AAEP-Test |
| Interface Policy Group (PC) | PC_SERVER01 |
| Interface Policy Group (vPC) | VPC_SERVER01 |
| Leaf Interface Profile | LIP_101_102 |
| Leaf Switch Profile | LEAF101_102 |
VLAN Pool, Physical Domain และ AAEP ตั้งค่าแบบเดียวกับการ Deploy VLAN ทั่วไป ถ้ามีอยู่แล้วก็นำมาใช้ต่อได้เลย
4.2 สร้าง vPC Explicit Protection Group (เฉพาะ vPC)
ขั้นตอนนี้ใช้จับคู่ Leaf 2 ตัวให้เป็น vPC Pair และทำเพียงครั้งเดียวต่อ Leaf 1 คู่ ถ้าเคยจับคู่ Leaf 101 กับ 102 ไว้แล้วให้ข้ามไปข้อ 4.3
- ไปที่ Fabric → Access Policies → Policies → Switch → Virtual Port Channel default
- ที่ตาราง Explicit vPC Protection Groups คลิกเครื่องหมาย +
- กำหนดค่าดังนี้
- Name: ชื่อของคู่ vPC เช่น VPC_101_102
- ID: หมายเลข Logical Pair ID ซึ่งต้องไม่ซ้ำกับคู่อื่นใน Fabric นิยมตั้งให้สื่อถึงหมายเลข Node เช่น 101
- Switch 1 / Switch 2: เลือก Leaf 101 และ Leaf 102
- คลิก Submit
4.3 สร้าง Port Channel Policy
Port Channel Policy กำหนดวิธีรวมลิงก์ ไปที่ Fabric → Access Policies → Policies → Interface → Port Channel แล้วสร้าง Policy ใหม่ ถ้ามี Policy ที่ตรงกับความต้องการอยู่แล้วก็ใช้ของเดิมได้
| Mode | การทำงาน |
|---|---|
| LACP Active | ส่ง LACP ไปเจรจากับปลายทางก่อน เป็นค่าที่แนะนำ |
| LACP Passive | รอให้ปลายทางส่ง LACP มาก่อนจึงจะตอบ ถ้าตั้ง Passive ทั้ง 2 ฝั่ง Port Channel จะไม่ขึ้น |
| Static Channel – Mode On | รวมพอร์ตโดยไม่ใช้ LACP ทั้ง 2 ฝั่งต้องตั้งเป็น On ให้ตรงกัน |
| MAC Pinning | ไม่ใช้ LACP และไม่รวมพอร์ตเป็น Port Channel จริง แต่ผูก Endpoint ไว้กับพอร์ตใดพอร์ตหนึ่ง เหมาะกับ Virtual Switch ที่ไม่รองรับ LACP |
ซึ่งบน Cisco ACI เวอร์ชั่นใหม่ๆจะมี Policy พื้นฐานส่วนใหญ่ที่ใช้งานมาให้อยู่แล้วสามารถนำไปใช้ได้เลยเช่น system-lacp-active เป็นต้น
4.4 สร้าง Interface Policy Group
ไปที่ Fabric → Access Policies → Interfaces → Leaf Interfaces → Policy Groups
- Port Channel: คลิกขวาที่ PC Interface แล้วเลือก Create PC Interface Policy Group
- vPC: คลิกขวาที่ VPC Interface แล้วเลือก Create VPC Interface Policy Group
กำหนดค่าดังนี้
- Name: เช่น PC_SERVER01 หรือ VPC_SERVER01 แนะนำให้ตั้งชื่อตามอุปกรณ์ปลายทาง เวลาดูจะได้รู้ทันทีว่า Port Channel นี้ต่อกับอะไร
- Attached Entity Profile: AAEP_SERVER
- Port Channel Policy: LACP_ACTIVE
- Link Level, CDP และ LLDP Policy: เลือกให้ตรงกับอุปกรณ์ปลายทาง
ข้อควรระวัง: Policy Group แบบ PC และ VPC ต้องสร้างแยก 1 ชุดต่อ Port Channel 1 ชุดเสมอ ต่างจาก Leaf Access Port ที่ใช้ซ้ำกับหลายพอร์ตได้ เพราะ ACI ใช้ Policy Group เป็นตัวระบุว่าพอร์ตใดอยู่ใน Port Channel เดียวกัน ถ้านำ VPC_SERVER01 ไปผูกกับพอร์ตของ Server อีกเครื่องด้วย พอร์ตของ Server ทั้ง 2 เครื่องจะถูกรวมเป็น Port Channel เดียวกันทันที
4.5 สร้าง Leaf Interface Profile แยกตาม Leaf
แนะนำให้สร้าง Leaf Interface Profile แยก 1 ชุดต่อ Leaf 1 ตัว เช่น LIP_101 สำหรับ Leaf 101 และ LIP_102 สำหรับ Leaf 102 เวลาดูจะรู้ทันทีว่าพอร์ตไหนของ Leaf ตัวไหนใช้งานอะไรอยู่ และพอร์ตบน Leaf 2 ตัวไม่จำเป็นต้องเป็นหมายเลขเดียวกัน
- ไปที่ Fabric → Access Policies → Interfaces → Leaf Interfaces → Profiles แล้วเลือก Interface Profile ของ Leaf 101 (LIP_101) หรือสร้างใหม่
- คลิกเครื่องหมาย + ที่ Interface Selectors แล้วกำหนดค่าดังนี้
- Name: เช่น SERVER01
- Interface IDs: 1/10 (ถ้าเป็น PC ที่ใช้หลายพอร์ต ให้ระบุเป็นช่วง เช่น 1/10-11)
- Interface Policy Group: VPC_SERVER01 สำหรับ vPC หรือ PC_SERVER01 สำหรับ PC
- คลิก Submit
- สำหรับ vPC ทำซ้ำข้อ 1–3 ที่ Interface Profile ของ Leaf 102 (LIP_102) โดยเลือก Interface Policy Group ตัวเดียวกัน (VPC_SERVER01)
ACI รวมพอร์ตของ Leaf ทั้ง 2 ตัวเป็น vPC เดียวกันได้ เพราะพอร์ตทั้ง 2 ฝั่งใช้ VPC Policy Group ตัวเดียวกัน และ Leaf ทั้ง 2 ตัวจับคู่กันไว้แล้วใน vPC Explicit Protection Group (ข้อ 4.2)
4.6 ผูก Interface Profile กับ Leaf Switch Profile
Leaf Switch Profile บอกว่า Interface Profile นั้นใช้กับ Leaf ตัวใด เมื่อแยก Interface Profile ต่อ Leaf แล้ว Switch Profile ก็แยกต่อ Leaf เช่นกัน
- ไปที่ Fabric → Access Policies → Switches → Leaf Switches → Profiles
- เลือก Leaf Profile ของ Leaf 101 (LEAF101) หรือสร้างใหม่ โดยกำหนด Leaf Selector เป็น Node 101
- ผูก LIP_101 ในส่วน Associated Interface Selector Profiles แล้วคลิก Submit
- ทำแบบเดียวกันกับ Leaf 102 คือ Leaf Profile LEAF102 (Node 102) ผูกกับ LIP_102
ถ้า Leaf Profile และ Interface Profile ของแต่ละ Leaf ผูกกันไว้แล้วตั้งแต่ตอนติดตั้ง Fabric ให้ข้ามขั้นตอนนี้ไปได้เลย การเพิ่ม PC หรือ vPC ครั้งต่อไปจะเหลือแค่เพิ่ม Interface Selector ในข้อ 4.5
5. Deploy EPG ลง PC / vPC
เมื่อสร้าง Port Channel เสร็จ ขั้นต่อไปคือกำหนดว่าลิงก์นี้ใช้ VLAN ใดของ EPG ใด ถ้ายังไม่ Deploy EPG ลงไป vPC จะยังไม่มี VLAN ใช้งาน (ช่อง Active vlans ใน show vpc จะว่าง)
- ไปที่ Tenants → เลือก Tenant → Application Profiles → เลือก Application Profile → Application EPGs แล้วคลิกขวาที่ EPG ที่ต้องการ
- เลือก Deploy Static EPG on PC, VPC, or Interface
- กำหนดค่าดังนี้
- Path Type: เลือก Virtual Port Channel สำหรับ vPC หรือ Direct Port Channel สำหรับ PC
- Path: เลือกชื่อ Interface Policy Group เช่น VPC_SERVER01 ไม่ต้องเลือก Node และพอร์ตทีละตัว เพราะ ACI รู้อยู่แล้วว่า Policy Group นี้ประกอบด้วยพอร์ตใดบ้าง
- Port Encap: VLAN ที่ต้องการ เช่น vlan-100 ซึ่งต้องอยู่ใน VLAN Pool ของ Domain ที่ผูกกับ EPG
- Deployment Immediacy: Immediate หรือ On Demand
- Mode: Trunk, Trunk (Native) หรือ Access (Untagged) ให้ตรงกับที่อุปกรณ์ปลายทางตั้งไว้
- คลิก Next แล้วคลิก Finish
ถ้าอุปกรณ์ปลายทางใช้หลาย VLAN ให้ทำซ้ำที่ EPG ของแต่ละ VLAN โดยเลือก Path เดิม (VPC_SERVER01)
7. ตรวจสอบผลการตั้งค่า
ผ่าน APIC GUI
ไปที่ Fabric → Inventory → Pod 1 → เลือก Leaf → Interfaces แล้วเปิด PC Interfaces หรือ VPC Interfaces จะเห็น Port Channel ที่สร้าง พอร์ตสมาชิก และสถานะ
ผ่าน CLI บน Leaf
show vpc # สถานะของ vPC Pair และ vPC ทั้งหมดบน Leaf
show port-channel summary # Port Channel และพอร์ตสมาชิก
show lacp neighbor # อุปกรณ์ปลายทางที่เจรจา LACP ด้วยตัวอย่างผลของคำสั่ง show vpc บน Leaf 102
Node 102 (LEAF102)
----------------------------------------------------------------
Legend:
(*) - local vPC is down, forwarding via vPC peer-link
vPC domain id : 101
Peer status : peer adjacency formed ok
vPC keep-alive status : Disabled
Configuration consistency status : success
Per-vlan consistency status : success
Type-2 consistency status : success
vPC role : secondary
Number of vPCs configured : 9
...
vPC Peer-link status
---------------------------------------------------------------------
id Port Status Active vlans
-- ---- ------ --------------------------------------------------
1 up -
vPC status
----------------------------------------------------------------------
id Port Status Consistency Reason Active vlans
-- ---- ------ ----------- ------ ------------
1 Po6 up success success 100,200,300
2 Po4 up success success 300
3 Po9 up success success 200,300,400
343 Po7 down* success success
684 Po3 down* failed vpc port channel
mis-config due to vpc
links in the 2 switches
connected to different
partners
685 Po2 up success success 300
686 Po5 up success success 200,300,400
687 Po1 down* Not Consistency Check Not
Applicable Performed
688 Po8 down* Not Consistency Check Not
Applicable Performed
ตัวอย่าง vPC 684 แสดงปัญหาที่เจอบ่อยในงานจริง คือฝั่ง ACI ตั้งค่าถูกแล้ว แต่สายเส้นหนึ่งเสียบผิดเครื่อง หรือฝั่ง Server / Switch แยกพอร์ตเป็น 2 Port Channel ให้ตรวจสายและการตั้งค่าฝั่งปลายทาง แล้วใช้ show lacp neighbor บน Leaf ทั้ง 2 ตัวเทียบว่า System ID ของปลายทางตรงกัน
หากต้องการดูขั้นตอนการสร้าง VLAN ตั้งแต่ VLAN Pool, Domain, Bridge Domain และ EPG ไปจนถึงการ Deploy EPG ลง Port อย่างละเอียด อ่านต่อได้ที่บทความ วิธีเพิ่มและ Deploy VLAN บน Cisco ACI
