杨芳至，粤官民齐欢共喜，倚为长城。则徐亦喜，前年，则徐湖广总督任时，杨芳为湖南提督，二人甚熟。
杨芳遵道光帝“先严加防御，待奕山、隆文到粤后，再大加挞伐，极力攻剿。”旨，只加强战备，不做进攻之算。
道光帝闻琦善割地，怒谕：胆敢背朕谕旨，仍然接递夷书，代夷恳求，实处情理之外，是何肺腑？无能不堪之至。擅割相港，遗臭万年之举。陈连生父子忠魂，汝将何以对之。即可革职锁拿，查抄家产，解京问罪。
义律不知清人变故，三日到后，又等两日，不见五大人签字，遂令泊麦纵舰猛攻，猎德、二沙尾、大黄滘炮台旋即拿下，广州城一览无余。伯麦欲乘胜攻城，义律叫停，坐等琦善乞和，两日无讯，义律遣一船问询，途经凤凰冈，清军开炮；英船不敌，退。
杨芳上奏：胜夷一场。
杨芳扼敌，则徐欣喜，问询制敌之道。
杨芳道：“夷炮恒中我，而我不能中夷。我居实地，而夷在风波摇荡中。主客异形，安能操券若此，必有邪教善术伏其内。遍收马桶、溺器，盛女人粪便秽物，沿江布满，且将马桶、溺器之口对夷舰炮口，此可破夷炮之邪术。如不破，则如三国赤壁，以火攻之。”
则徐道：火攻或可，余则邪说。
琦善杳无音讯，义律继续攻击，凤凰冈、永靖、海珠、西炮台相继攻破。3月18日，英军登陆广州，占领十三行商馆，升英国国旗。
一日之内，丢八炮台，亡二百多官兵；英仅六人受伤。杨芳惧。再派余纯保议和通商。
义律允准。
伯麦道：“清人反复无常。”
义律道：“我为自由贸易而战。广州打烂，清人皆亡，与谁贸易？”
杨芳为保广州，擅自通商，自知其罪，为免蹈琦善覆辙，遂与广东巡抚、将军联名奏报：虎门已失，近省猎德、大黄滘等处被占，广州已无屏障。官兵虽有八千，但不习水战。半月以来，英夷不攻广州，实恋通商。夷货船载洋米十万担，粤东产米不多，可见英夷并非包藏祸心，莫如权作变通，先允港脚到广贸易。
道光帝接奏，愤曰：“一派胡言，朕只知一个剿字。如仅为贸易，朕何必如此调兵遣将？杨芳、怡良革职留任，待奕山、隆文到日，合力同心，共筹谋划，剿杀英夷。”
1841年4月10日，奕山到粤，驻足韶州，上奏道光帝：如先到广州，拒绝通商，夷必攻城，现各省兵力未全，恐难应敌，不如先于韶州待大军集结，妥当之后再赴广州。
道光帝谕曰：战事瞬间万变，朕不遥制。奕山、隆文等妥筹密商，一俟续调官兵炮位足敷剿办，水勇快艇足资遣用。乃仍遵前旨，断其后路，四面兜擒，克服相港。
13日，奕山抵达广州，谓祈贡、杨芳、隆文道：“百年侵浸，粤民皆汉奸，粤兵皆贼党，不可重用；待湘、川、黔、琼等七省联军到齐，方可大加挞伐。”
一月后，各省援军至粤，奕山督饬1700精兵，夜袭白鹅潭。英人无防，两船被毁，三士兵伤。
奕山六百里急奏：5月23日夜，奴才督兵船百余，载火箭、硫磺、硝石等易燃物，烧白鹅潭逆夷大船六，小船十余；毁二沙尾小船数只；逆夷被毙及溺水者无数。
杨芳不以为然，窃叹：“小题大做，哄欺瞒骗，事且败而局难收。”
义律亦恨奕山、杨芳出尔反尔，饬命再攻。英舰得令，狂轰广州西炮台，一小时即破。英军登陆，再占十三行。另一队英军，沿珠江西侧水道，直攻广州城北越秀山，次日占领四方炮台，居高临下，炮轰广州城。
奕山督率18000兵勇，顽抗；杨芳更是孤立城头迎炮火怒骂：“丑夷！要打死老子耶！”